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Uber das Verhältnis von Ethik und Algorithmen 
Ein Problemaufriss 


Michael Reder, Nicholas Müller, Robert Lehmann 


Gegenwärtig wird intensiv darüber diskutiert, ob künstliche Intelligenz eine 
sehr spezifische menschliche Eigenschaft übernehmen kann, und zwar die, 
moralisch zu handeln (Floridi und Sanders 2004; Misselhorn 2018; Brieger 
2018; Weber 2018). Hintergrund dieser Diskussion sind technische Entwick- 
lungen, die der Maschine scheinbar mehr und mehr so etwas wie autonomes 
Handeln ermöglichen. Maschinen haben im Zuge dessen nicht nur automati- 
sierte Prozesse übernommen, sondern durch die ihnen spezifische Trainings- 
und Lernfähigkeit auch neue Aktionsmöglichkeiten erworben, die hand- 
lungsanalog zu sein scheinen. Mit diesen Möglichkeiten zu eigenständigem 
Handeln wird nun die Frage relevant, ob die Maschine auch etwas tun kann, 
was oftmals nur dem Menschen zugeschrieben wird: und zwar moralisch zu 
handeln. Im Kern der Diskussionen steht die Frage, ob Maschinen moralisch 
kalkulieren, entscheiden und handeln können und ob ihnen deshalb auch 
Verantwortung für ihr Handeln zu geschrieben werden kann (Dignum 2018). 
Katharina Zweig (2018) hat in diesem Zusammenhang auf einige grundle- 
gende Probleme hingewiesen. Denn die Informatik braucht eine formalisierte 
Definition von normativen Begriffen. Erst dann können diese in einen digita- 
len Code übersetzt werden. Die philosophische Frage nach der Normativität ist 
jedoch selten so binär, wie die Informatik sie gerne hätte. Normative Konflik- 
te sind oft sehr kompliziert, auch weil sie sich zeitlich verändern und deswe- 
gen nur selten in einer eindeutigen Heuristik konzeptualisiert werden können. 
Dies gilt auch für Normen selbst. Viele Normen sind oft deshalb so formal, weil 
nur so ihre Allgemeingültigkeit begründet werden kann. Wenn diese Normen 
material gefüllt werden, ist diese Eindeutigkeit allerdings begrenzt. Mit Blick 
auf verschiedene soziale, kulturelle oder zeitliche Kontexte einerseits und mit 
Blick auf den Einzelfall andererseits werden Normen oft unterschiedlich ma- 
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terial gefüllt. Diese Kontextualität und inhärente Dialektik von Normativität 
widersprechen der binären Logik der digitalen Technologie. 

Der vorliegende Band will diese Frage nach dem Verhältnis von KI und 
ethischer Verantwortung von unterschiedlichen Seiten aus - teils anhand von 
Fallbeispielen, teils in systematischer Hinsicht - analysieren und kritisch dis- 
kutieren. Es geht darum, Chancen und Risiken beim Umgang mit KI-Techno- 
logien auszuloten und nach ethisch verantwortlichen Formen des Umgangs, 
v.a. in Konfliktsituationen, zu suchen. 

Dem Band liegen die Arbeiten eines interdisziplinaren Forschungsverbun- 
des zugrunde." In diesem geht es um ein Feld institutionellen Handelns ange- 
sichts von Konflikten mit massiver Reichweite (Gutwald et al. 2021). Dabei han- 
delt es sich um die Bewertung von Fallakten durch Jugendamter im Hinblick 
auf Risiken der Kindeswohlgefahrdung. Prinzipiell sieht die grundgesetzliche 
Regelung in Deutschland vor, dass es das Recht und die Pflicht der Eltern ist, 
ihre Kinder zu erziehen und sich um ihr Wohlergehen zu kimmern. Die Inter- 
vention durch staatliche Stellen ist nur dann vorgesehen, wenn eine Gefahr- 
dung des Kindeswohls vorliegt, die die Eltern nicht abwenden können oder 
wollen. Erst dann wird das Wächteramt des Staates relevant und in Verant- 
wortungsgemeinschaft mit dem Familiengericht greift das Jugendamt als öf- 
fentlicher Träger der Jugendhilfe in die Familie ein. Die Jugendämter schlagen 
im begründeten Krisenfall verschiedene Maßnahmen zum Schutz des Kindes 
vor: von Beratungsdiensten bis zur Inobhutnahme des Kindes. Dazu wurde 
durch den Bundesgerichtshof konkretisiert, dass eine Kindeswohlgefährdung 
vorliegt, wenn »eine gegenwärtige, in einem solchen Maße vorhandene Gefahr 
[festgestellt werden kann], dass sich bei der weiteren Entwicklung eine erheb- 
liche Schädigung mit ziemlicher Sicherheit voraussehen lässt.«(BGH FamRZ 
1956: 350). 

Der Forschungsverbund untersucht, ob und inwiefern normative Kri- 
terien, die das Handeln von Jugendämtern leiten, in Algorithmen übersetzt 
werden können und ob digitale Tools das institutionelle Handeln unterstützen 
können (Gutwald und Reder 2023). Dies ist einerseits angesichts der Kom- 
plexität der Situation, des betroffenen Rechtskonflikts und der Reichweite 


1 Dabei handelt es sich um den vom bidt finanzierten Forschungsverbund Kann ein Al- 
gorithmus im Konflikt moralisch kalkulieren, der von 2021-2023 an der Schnittstelle von 
Philosophie, Informatik und Sozialer Arbeit angesiedelt ist. Das Projekt ist eine Ko- 
operation der Hochschule für Philosophie in München, der Technischen Hochschule 
Würzburg-Schweinfurt und der Technischen Hochschule Nürnberg Georg Simon Ohm. 
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der Entscheidung nicht unproblematisch. Es erscheint aber andererseits 
angesichts eben dieser Tragweite des Konflikts und begrenzter personeller 
und Zeitressourcen in den Institutionen auch sinnvoll zu fragen, ob digita- 
le Systeme eine Hilfe sein können, um die Entscheidungen mit Bezug auf 
gesellschaftliche Normen transparent und fundiert zu treffen. 

In einer Welt, in der künstliche Intelligenz und Algorithmen immer mehr 
Entscheidungen übernehmen, stellt sich mit Blick auf solche Beispielfelder 
und angesichts dieser Eigenart ethischer Urteilsfindung die Frage, inwieweit 
diese Systeme moralische und ethische Aspekte berücksichtigen können. 
Eine zentrale Frage ist, ob und wenn ja wie Algorithmen entwickelt werden 
könnten, die moralisch kalkulieren und in komplexen ethischen Situationen 
Entscheidungen treffen können. Die folgende Einleitung stellt einen Pro- 
blemaufriss zu diesem Themenfeld vor dem Hintergrund der Forschungen 
des genannten Verbundes dar. 


Zur Kalkulationsfähigkeit von Algorithmen im Kontext 
ethischer Entscheidungen 


Aus technischer Perspektive gilt es als erstes zu betonen, dass innerhalb des 
Themenfeldes der KI zwischen den Basistechnologien und Anwendungen zu 
unterscheiden ist. Christen et al. (2020) postulieren in diesem Zusammen- 
hang, dass vier Basisfunktionen, und zwar Mustererkennung, Klassifikation, 
Prognose und Synthese aus unterschiedlichen Input-Daten, z.B. Text, Bild 
oder Ton, einen Anwendungskontext erzeugen. Muster werden in Texten 
oder Bildern erkannt, Geräusche durch Klassifizierung als Vogelgeräusche 
präzisiert (Xie et al. 2023), das Wetter durch Datenaggregation vorhergesagt 
oder neue Musik durch Synthese generiert (Rutherford 2023). Entsprechend 
weisen Christen et al. (2020) daraufhin, dass durch KI-Technologien Systeme 
spezifiziert werden können, die mittels Berechnungen Artefakte generieren 
können. Um diese generierten Daten zu klassifizieren oder solche Systeme 
für die Gesellschaft nutzbar zu machen, wird jedoch weiterhin menschliche 
Expertise benötigt. Im Berufsfeld Clickwork werden zum Beispiel die Trai- 
ningsdaten generiert (Beuth et al. 2023). Im nächsten Schritt wird eine der 
Basisfunktionen genutzt, um einen neuen Output zu generieren, der wieder- 
um von Menschen genutzt wird, z.B. beim autonomen Fahren. Dieser kann 
wiederum Ausgangspunkt für weitere menschliche Entscheidungen sein. 
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Gemeinsam ist diesen Anwendungen, dass sie Daten aggregiert auswerten 
und eine Schlussfolgerung aus diesen ziehen. Je nach Anwendungsszenario 
enthalten sowohl die Eingangsdaten als auch die Ergebnisdarstellung Aspek- 
te, die aus ethisch-moralischer Sicht einer besonderen Prüfung bedürfen. Ins- 
besondere dann, wenn diese bereits bei der rechnerbasierten Aggregation der 
Daten berücksichtigt werden müssen. Denn die Integration von moralischen 
Aspekten in statistischen Berechnungen ist eine komplexe Herausforderung. 
Um normative Kriterien in Algorithmen zu übersetzen, müssen sie zunächst 
quantifiziert werden. Ein Ansatz zur Quantifizierung von moralischen Aspek- 
ten besteht darin, ethische Prinzipien in messbare Indikatoren oder Kriterien 
zu übersetzen und diese in statistische Modelle einzubeziehen. Dabei ist zu 
berücksichtigen, dass derartige Modelle nur eine Annäherung an die morali- 
sche Abwägung darstellen und nicht alle ethischen Nuancen erfassen können. 
Diese Einschränkungen finden sich auch in Überblicksstudien zur Anwendung 
von KI-basierten Assistenz- oder Entscheidungssystemen. 

Der Bericht von AlgorithmWatch (Matzat et al. 2019) leistet an dieser Stelle 
einen wesentlichen Beitrag, da die dort beschriebene Datenbank eine Über- 
sicht zu vorrangig in Deutschland etablierten Algorithmen, Richtlinien und 
Akteuren darstellt. Insbesondere bei den Softwarebeschreibungen wird deut- 
lich, dass oftmals Assistenzsysteme zur Anwendung kommen. Darüber hin- 
aus sind Studien von Interesse, welche den konkreten Einsatz von Software- 
systemen zur Entscheidungsfindung beschreiben. Basierend auf den vorlie- 
genden Recherchen wird dies insbesondere im Personal- und Bewerbungs- 
management eingesetzt. Hunkenschroer und Luetge (2022) betrachten bei- 
spielsweise 51 Studien mit Bezug zum Personalmanagement. Sie konstatieren, 
dass eine normative Einschätzung der Algorithmen bislang im wissenschaft- 
lichen Diskurs unterrepräsentiert ist. Darüber hinaus schlussfolgern sie, dass 
die Diskussion zu ethischen Herausforderungen zu stark an Richtlinien ausge- 
richtet ist und nicht konkret auf spezifische Anwendungsfelder bezogen wer- 
den. 

Eine weitere Überblicksstudie in diesem Bereich von Will, Krpan und Lor- 
dan (2023) untersucht, inwiefern Menschen oder Algorithmen hinsichtlich der 
Entscheidungsfindung besser, gleich oder schlechter handeln. Sie analysieren 
dazu die Effizienz, Performanz, Diversitat und wie die Entscheidungsfindung 
durch einen Algorithmus wahrgenommen wird. In ihrer Zusammenfassung 
zeigen die Autoren auf, dass insbesondere bezogen auf Effizienz und Per- 
formanz die Algorithmen einen Vorteil haben und auch die Diversität besser 
gesichert wird. Die Wahrnehmung der Algorithmen-Entscheidungen wird 
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jedoch generell durch Menschen als kritisch eingeschatzt, was gegebenen- 
falls an fehlenden Erklärungsansätzen zur Funktion der Software oder der 
Entscheidungsfindung liegt. 

Der Einsatz von KI in ethischen Entscheidungssituationen ist also nicht 
einfach. Bei allen Problemen, die damit verbunden sind, legen die Studien 
allerdings auch nahe, dass sie in Form von Assistenzsystemen sehr wohl Ent- 
scheidungstrager*innen in konfliktiven Situationen unterstützen können. 
Sie können beispielsweise Muster in großen Datenmengen erkennen, die für 
Menschen schwer zu erfassen sind, und so wertvolle Informationen für die 
Entscheidungsfindung liefern. Dabei ist es wichtig, die Rolle von Algorith- 
men als Unterstützung und Ergänzung menschlicher Expertise zu verstehen, 
anstatt sie als Ersatz zu betrachten. Denn menschliche Fähigkeiten wie Em- 
pathie, Intuition und Urteilsvermögen bleiben bei ethischen Entscheidungen 
zentral, da diese von Algorithmen nur schwer nachgebildet werden können. 
Daher sollten Algorithmen darauf abzielen, die menschliche Entscheidungs- 
findung zu verbessern, anstatt sie zu ersetzen, und die Transparenz und 
Nachvollziehbarkeit algorithmischer Entscheidungen sicherstellen. Dies be- 
inhaltet auch die Implementierung von Mechanismen zur Überprüfung und 
Anpassung von Algorithmen, um sicherzustellen, dass sie ethischen Standards 
entsprechen und kontinuierlich verbessert werden. 

Eine solche Strategie ethischer Verantwortung im Kontext von KI-Ent- 
wicklungen ist sinnvoll, da das Hauptproblem auf Algorithmen basierten 
Entscheidungssystemen darin besteht, dass sie einen gültigen Wert benö- 
tigen, um ein Ergebnis zu erzeugen. Fehlende Werte müssen interpoliert 
werden, was die Ergebnisse verfälschen kann. Eine Vielzahl von Studien 
beschäftigt sich mit den daraus resultierenden Effekten, z.B. Fragen der 
Gleichbehandlung verschiedener Gruppen. Dabei zeigt sich jedoch, dass es 
unter Umständen keine wirklich fairen Algorithmen geben kann (Kleinberg et 
al. 2016) oder nur ein zeitlich nachgelagerter Auswertungsschritt helfen kann, 
fehlende Daten zu korrigieren (Chouldechova 2016). Zu diesem Zeitpunkt 
ist die Entscheidung des Algorithmus jedoch längst gefallen, woraus wieder 
(problematische) gesellschaftlichen Folgen resultieren können. 

Um eine Antwort aufdieses Problem zu finden, wurde im Rahmen des KAI- 
Mo-Projektes ein Drei-Agenten-Lösungsansatz entwickelt, auf den im weite- 
ren Verlaufnoch detailliert eingegangen wird. Zielist es, dass das Agentenarray 
aus unabhängigen Ansätzen Lösungen entwickelt und der eingeschlagene Weg 
transparent dokumentiert wird. 
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Damit erfüllt ein solcher Ansatz wesentliche Forderungen, die in ver- 
schiedenen Fachgremien zur Thematik der ethisch-moralischen Herausfor- 
derungen von KI und deren Einsatz in einem digitalen gesellschaftlichen 
Kontext diskutiert werden. So definiert beispielsweise die High-level expert 
group on artificial intelligence der Europäischen Kommission in ihrer Assessment 
List for Trustworthy AI (ALTAI) (AI HLEG 2020) sieben Punkte: (1) menschli- 
ches Handeln und Kontrolle, (2) technische Robustheit und Sicherheit, (3) 
Datenschutz und Datenmanagement, (4) Transparenz, (5) Vielfalt, Nichtdis- 
kriminierung und Fairness, (6) Umwelt- und gesellschaftliches Wohlergehen, 
(7) Verantwortlichkeit. Der Deutsche Ethikrat wiederum bezeichnet Entschei- 
dungsunterstützungssysteme in der Stellungnahme Mensch und Maschine - 
Herausforderungen durch Künstliche Intelligenz (Deutscher Ethikrat 2023) als 
begrüßenswert, um die menschliche Entscheidungsfindung durch einen 
verbesserten Zugang zu Daten zu unterstützen. Eingeschränkt wird die Emp- 
fehlung jedoch durch den Hinweis, dass diese Systeme stets das Ziel verfolgen 
müssen, die menschliche Entscheidungsfindung zu verbessern und nicht die 
Effizienzsteigerung oder Personaleinsparung durch den Einsatz von Compu- 
tersystemen voranzutreiben. Darüber hinaus wird in der Stellungnahme auf 
die potentielle Gefahr hingewiesen, dass Menschen eine Computerentschei- 
dung unreflektiert übernehmen. Folgerichtig wird in diesem Zusammenhang 
empfohlen, dass »geeignete technische und organisatorische Instrumente zur 
Vorkehrung gegen die manifeste Gefahr eines Automation Bias bereitgestellt 
werden, die es den Fachkräften erschweren [...] der algorithmischen Ent- 
scheidungsempfehlung unbesehen zu folgen.« (Deutscher Ethikrat 2023: 249) 
Diese Bedingung gilt für alle gesellschaftlichen Felder, in denen KI-Systeme 
zum Einsatz kommen. Es geht in diesem Zusammenhang beispielsweise um 
die Notwendigkeit, den Datenschutz und die Privatsphäre der betroffenen 
Personen zu wahren, sowie die Sicherstellung, dass die Algorithmen (bei- 
spielsweise durch die Zusammenstellung der Trainingsdaten) bestehende 
soziale Ungleichheiten nicht verstärken. 

Dementsprechend ist es wichtig, die Ergebnisse und Anforderungen der 
Informatik in Bezug auf ethische Algorithmen kontinuierlich zu evaluieren 
und in den Dialog mit den anderen beteiligten Disziplinen einzubringen. 
Hierzu gehört auch die Bereitschaft, die entwickelten Systeme und Ansätze 
kritisch zu hinterfragen und gegebenenfalls anzupassen, um die bestmögli- 
che Unterstützung für die Entscheidungsfindung in der Sozialen Arbeit zu 
gewährleisten. 


Michael Reder, Nicholas Miller, Robert Lehmann: Ethik und Algorithmen 


Digitale Assistenzsysteme in der Sozialen Arbeit - ein Beispielfeld 


In der Sozialen Arbeit ist die Entscheidungsunterstiitzung durch KI grund- 
satzlich ein sehr kontroverses Thema. Anhand der Debatte um die Entschei- 
dungsfindung zur Kindeswohlgefahrdung kann dies besonders deutlich 
illustriert werden, da hier die Fachkrafte im Jugendamt gewichtige Entschei- 
dungen über die Zukunft junger Menschen und ihrer Familien treffen müssen 
(Bathke et al. 2019). 

Schon lange vor der Entwicklung von Systemen der Kl in diesem Bereich 
war die Soziale Arbeit auf der Suche nach Instrumenten, die die Prognosequa- 
lität in Kinderschutzfällen verbessern könnten. Dabei waren zwei große Lini- 
en zu erkennen: Einerseits zeigte sich in der Praxis, dass Fachkräfte mit Erfah- 
rung deutlich bessere Prognosen generieren, als Personen, die neu in dem Feld 
arbeiten. Die große Bedeutung des Erfahrungswissens wird nicht zuletzt im 
$8a SGB VIII deutlich, der vorschreibt, dass Träger, die Leistungen im Kinder- 
und Jugendbereich erbringen, eine »insofern erfahrene Fachkraft« ($8a SGB 
VIII, Abs. 4, Nr. 2) bei Fällen einer vermuteten Kindeswohlgefährdung hinzu- 
ziehen müssen. 

Andererseits spielen neben dem individuellen Erfahrungswissen in Fäl- 
len der Kindeswohlgefährdung wissenschaftlich abgesicherte Erkenntnisse 
eine besondere Rolle. In umfangreichen Studien konnten empirisch Fakto- 
ren herausgearbeitet werden, die das Risiko einer Kindeswohlgefährdung 
erhöhen oder vermindern. Aufbauend auf diesen Ergebnissen wurden mit 
statistischen Verfahren Modelle entwickelt, die unter Berücksichtigung der 
relevanten Faktoren mit transparenten Algorithmen Prognosen zur Risiko- 
struktur liefern. Für die Praxis der Sozialen Arbeit wurden sie in Checklisten 
übersetzt, die teilweise in Papierform, teilweise digital bearbeitet werden 
können (Ackermann 2020). 

Es ist sehr bemerkenswert, dass einerseits in vielen methodisch hochwer- 
tigen Metastudien herausgearbeitet wurde, dass diese Instrumente eine deut- 
lich höhere Prognosequalität aufweisen als Fachkräfte, die intuitiv-diskursiv 
agieren (Grove et al. 2000; van der Put et al. 2017), andererseits im Fachdis- 
kurs dennoch der Standpunkt vertreten wird, dass Ansätze, die eine individu- 
elle Expertise der Fachkräfte in den Vordergrund stellen, zu favorisieren seien 
(Bastian 2012; Schroth 2021). Hier wird deutlich, dass in der Disziplin der So- 
zialen Arbeit auf der inhaltlichen Ebene eine große Sorge vor einer De-Profes- 
sionalisierung durch die Nutzung standardisierter Verfahren besteht (Schröd- 
ter et al. 2020). Insofern überrascht es nicht, dass die Anwendung von KI-Sys- 
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temen im deutschen Kinderschutz sehr kritisch diskutiert wird und die meis- 
ten Autor*innen eher die Risiken der Technologie betonen (Görder 2021). 

Im internationalen Kontext liegen dagegen bereits einige Ansätze vor, die 
größere Datenbestände und komplexere Algorithmen für die Risikoprognostik 
nutzen (La Valle et al. 2016). In Neuseeland wurde z.B. ein Predictive Risk Mod- 
elling to Prevent Child Maltreatment (PRM) entwickelt. Hier wurden Daten aus 
den verschiedenen staatlichen Systemen, wie der Sozial- und Kinderfürsorge 
und dem Gesundheits- und Erziehungssystem verknüpft und darauf aufbau- 
end ein Risikoscore ermittelt (Gillingham 2021). Einen ähnlichen Ansatz verfol- 
gen die Kinderschutzbehörden in den USA. Dort wird z.B. im Allegheny Fami- 
ly Screening Tool (AFST) eine Verknüpfung unterschiedlicher Datenquellen zur 
Berechnung eines Familien-Screening-Scores verwendet. Bei einem hohen Score- 
Wert wird ein höheres Risiko der Kindeswohlgefährdung angenommen und 
entsprechende Interventionen eingeleitet (Holstein 2022). 

Die praktische Anwendung dieser Verfahren zeigt jedoch einige grundle- 
gende Probleme, die mit den skizzierten ethischen Bedenken in Zusammen- 
hang stehen. So zeigte sich, dass das PRM einen sehr starken Zusammenhang 
zwischen Armut und dem Merkmal »Alleinerziehend« und dem Risiko einer 
Kindeswohlgefährdung herstellt. Dies lässt den Rückschluss zu, dass in den 
verwendeten Daten Fälle mit dieser Kombination von Merkmalen häufig vor- 
kamen. Die Interpretation, dass Armut und Alleinerziehend ursächlich für die 
Kindeswohlgefährdung sind, ist allerdings eine Verwechslung von Korrelation 
und Kausalität. Aufgrund dieser Problematik wurden Entwicklung und Imple- 
mentation dieses Verfahrens eingestellt. Ähnliche Vorwürfe wurden gegen das 
AFST vorgebracht, das ebenfalls vor allem als Armuts-Profiling funktioniert 
hat (Eubanks 2018). 

Die internationalen Erfahrungen machen deutlich, dass die Einführung 
KI-basierter Risikoprognoseverfahren mit vielfältigen Problemen einher- 
gehen. Eine besondere Rolle kommt den verwendeten Trainingsdaten zu. 
In den genannten Anwendungen wurden die Algorithmen mit Datensätzen 
trainiert, in denen durch die Auswahl der betroffenen Personen oder durch 
implizite Stereotype bei den bearbeitenden Personen Verzerrungen von den 
Algorithmen erlernt wurden. Bei zukünftigen Entwicklungen ist es daher 
entscheidend, schon bei der Wahl des Trainingsmaterials auf die Einhaltung 
von Gerechtigkeitsprinzipien und eine diskriminierungsfreie Auswahl der 
Daten zu achten (Görder 2021). 

Für die Soziale Arbeit in Deutschland stellt sich die Frage, wie dieses Trai- 
ningsmaterial aufgebaut sein müsste, um Algorithmen zu trainieren, die Er- 
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gebnisse produzieren, die sowohl frei von Diskriminierung als auch mit hoher 
Vorhersagequalitat ausgestattet sind. Ausgehend von dem bestehenden Wi- 
derspruch im Fachdiskurs zwischen statistischen Prognosemodellen und er- 
fahrungsbasierten Ansätzen könnte der Einsatz von KI-Systemen hier zu ei- 
ner Art Synthese führen. Bisher bestand bei der Nutzbarmachung des Erfah- 
rungswissens der Fachkrafte das Problem, dass das zugrunde liegende impli- 
zite Wissen nur schwer explizierbar war (Böhle 2020). Da dieses Wissen jedoch 
die Grundlage von Entscheidungen darstellt, die in Akten dokumentiert sind, 
wird die Nutzung solcher prozessgenerierten Textdokumente in der Professi- 
onsforschung der Sozialen Arbeit schon langer diskutiert. 

Mit den klassischen qualitativen Analyseverfahren konnten hier bisher kei- 
ne umfangreichen Studien durchgeftihrt werden (Lehmann und Klug 2019). 
Verfahren aus dem KI-Forschungsbereich kénnen neue Erkenntnisse generie- 
ren. So könnten die großen Textmengen, die in deutschen Jugendämtern vor- 
liegen mit den verschiedenen Verfahren untersucht und entsprechende Mus- 
ter aus den Daten extrahiert werden. Es ist anzunehmen, dass das bisher im- 
plizite Erfahrungswissen der Fachkräfte auf diese Weise zumindest ansatz- 
weise verarbeitet und zum Ausdruck gebracht werden könnte (Vladova et al. 
2019). Es besteht eine große Chance, mit maschinellen Lernverfahren aus der 
dokumentierten Fachlichkeit in Akten die Grundlagen der Entscheidungsfin- 
dung erfahrener Fachkräfte zu erlernen und darauf aufbauend Assistenzsys- 
teme zu generieren. 

Auch wenn dieser Ansatz zunächst sehr naheliegend erscheint, birgt er je- 
doch ebenfalls große Risiken. So sind in den Akten der deutschen Jugendämter 
ähnlich wie in USA und Neuseeland bestimmte Bevölkerungsgruppen überre- 
präsentiert (Jugendinstitut eV et al. 2020). Auch die Arbeit im Jugendamt vor 
Ort ist nicht frei von Vorurteilen und Ressentiments, die sich in der fachli- 
chen Entscheidungsfindung widerspiegeln (Harrer-Amersdorffer 2022; Her- 
zog 2022). Es kann also nicht empfohlen werden, bestehende Daten unreflek- 
tiert zum Training einer KI zur Entscheidungsunterstützung zu nutzen. Als 
Vorstufe wäre eine Mustererkennung durch maschinelle Lernverfahren in den 
Dokumenten bestehender Praxis allerdings sehr hilfreich. Die erkannten Mus- 
ter würden sichtbar und könnten damit Gegenstand einer fachlichen Debat- 
te sein. Aufbauend auf einer in diesem Sinne von sozialarbeiterischer Fach- 
lichkeit geprägten Entwicklungsarbeit ist ein System zur Entscheidungsunter- 
stützung in Kinderschutzfällen sehr wünschenswert und denkbar (Linnemann 
et al. 2023; Steiner und Tschopp 2022). 
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Abgesehen von der inhaltlichen Qualität von KI-gestützten Assistenzsys- 
temen stellt sich die Frage ihrer Einbindung in die Entscheidungspraktiken 
der Jugendämter. Selbst wenn ein solches Verfahren extrem gute Prognoseer- 
gebnisse liefern sollte, sehen einerseits die geltende Rechtslage, andererseits 
auch tiefgreifende ethische Erwägungen (Deutscher Ethikrat 2023) vor, dass 
so lebensentscheidende Entscheidungen in Letztverantwortung von Men- 
schen getroffen werden müssen. Daher muss auch hier überlegt werden, wie 
eine sinnvolle Integration in Entscheidungsprozesse aussehen kann. Dabei ist 
im Kontext der Sozialen Arbeit zu beachten, dass hier seit langem eine hohe 
Skepsis gegenüber digitaler Technologie vorliegt (Bertsche und Como-Zipfel 
2017), sodass ein entsprechendes Unterstützungssystem evtl. weniger stark 
genutzt werden würde als in anderen Bereichen. Gleichzeitig ist bekannt, 
dass Menschen dazu neigen, ihrer eigenen Expertise weniger zu vertrauen, 
als einem maschinellen System und im Zweifel eher der Einschätzung ei- 
ner Maschine folgen, selbst wenn sie dem Urteil der Maschine nicht völlig 
zustimmen (Banbury 2021; Gapski 2020). Daher besteht das Risiko, dass 
einem KI-System zu viel Vertrauen entgegengebracht wird. Die Einbindung 
eines KI-Systems in einen Entscheidungsfindungsprozess muss also sowohl 
sicherstellen, dass die Expertise des Systems in ausreichender Intensität 
berücksichtigt wird, als auch verhindern, dass die Menschen unreflektiert der 
Einschätzung des technischen Systems folgen. 

Aus der derzeitigen Perspektive sind daher einfache Empfehlungssyste- 
me im Kinderschutz, die sich deutlich für bestimmte Maßnahmen ausspre- 
chen, sehr kritisch zu sehen. Aktuell existiert im deutschsprachigen Raum kein 
KI-System, das mit einem Datensatz trainiert wurde, der den Ansprüchen an 
die inhaltliche Qualität und Diskriminierungsfreiheit genügt. Weiterhin liegt 
in der Interpretation der Ergebnisse und der Interaktion zwischen Mensch 
und Maschine aktuell ein großes Fehlerpotenzial. Daher erscheint es sinnvoll, 
einerseits die Entwicklung fachlich kontrollierter und diskriminierungsfrei- 
er Systeme voranzutreiben und andererseits Konzepte zu entwickeln, die eine 
zielführende Interaktion von Mensch und Maschine ermöglichen. Ein Ansatz 
könnte eine sehr defensive Integration einer Kl sein, die nie eine eigene Emp- 
fehlung ausspricht, sondern den Menschen bei seiner Entscheidungsfindung 
durch gut aufbereitete Informationen und fachliche Hinweise maßgeblich un- 
terstützt. 
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Ausblick 


Vor dem Hintergrund der skizzierten Problemstellung versammelt der Band 
Beiträge aus dem Feld der Sozialen Arbeit - aber auch anderen Themenfeldern, 
wie u.a. der Medizin oder der Politik. Die Beiträge rekonstruieren soziale Prak- 
tiken und Institutionen, in denen Algorithmen bereits zum Einsatz kommen 
oder dies für die Zukunft geplant ist. In dem Band bieten Expert*innen aus 
verschiedenen Fachrichtungen fundierte Einsichten in die KI-gestützte Ent- 
scheidungs- und Urteilsfindung. Von der digitalen Operationalisierung über 
die Rolle des Menschen im Zentrum des technischen Fortschritts bis hin zur 
Konzeption von vertrauenswürdigen Systemen. Anhand dieser Beispiele wer- 
den sowohl Chancen als auch Grenzen des Einsatzes von KI-Systemen disku- 
tiert, v.a. in hoch konfliktiven Situationen. Es geht letztlich um die Frage nach 
der ethischen Verantwortung im digitalen Zeitalter. Für die Diskussion dieser 
Frage will der Band einige grundlegende Impulse geben. 
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Geist, Intelligenz, Information und Daten - 
Artificial Intelligence im Wandel 

der Wissenschaftskulturen 

Eine ideengeschichtliche Begriffsverortung 


Rudolf Seising 


Zu welcher Wissenschaftsdisziplin oder -kultur sollten die Forschungen zur 
Artificial Intelligence (AI) gezahlt werden? Wie passen sie zu den Geistes-, 
Natur- oder Ingenieurwissenschaften, den Kultur-, Sozial- und Struktur- 
wissenschaften? Die historische Betrachtung findet zahlreiche Ansatze zur 
AI-Forschung in verschiedenen wissenschaftlichen Disziplinen, allen voran 
die in den USA in den 1950er Jahren entstandenen Computer Sciences bzw. 
einige Jahre später in Europa die Informatik. Auch diese Fächer waren nicht 
aus einem Guss entstanden, wie 1971 der österreichische Computer-Pionier 
Heinz Zemanek (1920-2014) schrieb: 


»Mathematik und Nachrichtentechnik, Buchhaltung und Statistik sind zwar 
Wurzeln und Bausteine, aber seit geraumer Zeit bilden sie nicht mehr den 
Kern der Computer-Wissenschaften, und nichts wäre verkehrter, als die In- 
formatik als Konglomerat der eben genannten Felder zu konzipieren; was 
von ihnen noch bleiben wird in der Informatik, muss sehr kritisch geprüft 
sein.« (Zemanek 1971, 158) 


Weiter nannte Zemanek die Informatiker hier »Ingenieure abstrakter Ob- 
jekte« und 1974 definierte der Münchner TU-Professor Friedrich L. Bauer 
(1924-2015) die Informatik als »Ingenieur-Geistes- bzw. Geistes-Ingenieur- 


wissenschaft«.’ Sie sei die »Wissenschaft von der Programmierung der 


1 Dieser Ausspruch inspirierte zum Namen des von 2019 bis 2023 vom BMBF geförder- 
ten wissenschafts- und technikhistorischen Forschungsprojekts »IGGI — Ingenieur- 
Geist und Geistes-Ingenieure: Eine Geschichte der Künstlichen Intelligenz in der 
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Informations- das heißt Zeichenverarbeitung« und ihre Resultate seien die 
geschriebenen Programme, die nicht materiell, sondern immaterielle, abs- 
trakte Objekte sind. 

Jüngere Wissenschaftler*innen in der Bundesrepublik Deutschland, die an 
den Forschungen der Al interessiert waren, wollten ihre Fächer für solche Un- 
tersuchungen öffnen. So gab es Keimzellen für die AI-Forschung nicht nur in 
Elektrotechnik und Mathematik, sondern auch in der Linguistik, in der Philo- 
sophie, in Psychologie und Soziologie und in den Wirtschaftswissenschaften. 
In einem 1966 von Kommunikations- bzw. Sprachwissenschaftlern der Uni- 
versität Bonn verfassten Überblicksbericht zum damaligen Stand der AI-For- 
schung war »Künstliche Intelligenz« noch in Anführungszeichen geschrieben, 
denn dies sei 


»kein wohldefinierter, einheitlich verwendeter Terminus. Zuerst geprägt im 
Jargon der Fachwissenschaftler, die sich mit dem Einsatz von Computern bei 
nicht-numerischen Problemen beschäftigten, hat er eher den Charakter ei- 
nes Schlagwortes.« (Ungeheuer, Krallmann, Schnelle, and Tillmann 1966, 1) 


Je nach Ort, Zeit, Kultur und Gesellschaft lassen sich verschiedene Geschichten 
der AI-Forschung erzählen.” Ein Kenner dieser Narrative ist der Informatiker 
Wolfgang Bibel (* 1938),? der gemeinsam mit Ulrich Furbach (* 1948) rückbli- 
ckend neben der weitgehenden Unkenntnis »der Grundlagen für den univer- 
sellen Berechenbarkeitsbegriff« auf deutscher Seite im Gegensatz zur angel- 
sächsischen einen weiteren Grund »in der jeweiligen Rolle der Geisteswissen- 
schaften« sieht: 


»Bekanntlich übt Wilhelm Dilthey bis heute auf diese akademischen Diszi- 
plinen, als deren Begründer er gilt, einen erheblichen Einfluss aus und dies 


Bundesrepublik Deutschland« (Förderkennzeichen 011519029): https://www.deutsch 
es-museum.de/forschung/forschungsinstitut/projekte/detailseite/iggi-ingenieur-gei 
st-und-geistes-ingenieure. 

2 Einige neuere Al-Geschichtsdarstellungen sind in dem Special Issue »Dynamics of Al: 
European Histories« der IEEE Annals of the History of Computing im letzten Heft des 
Jahres 2023 erschienen. 

3 Bibel war von 1987 bis1988 Professor an der University of British Columbia in Vancouver 
(Kanada) und danach Professor für Intellektik an der Technischen Universität Darm- 
stadt (1988-2004). Er war im Vorstand der »International Joint Conferences on Artifi- 
cial Intelligence« (IJCAI, 1986-1992) und von 1987 bis 1989 deren Präsident. 
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besonders, aber nicht nur, im deutschsprachigen Raum, während sein Ein- 
fluss auf die angelsächsischen »humanities« wesentlich schwächer ausge- 
prägt ist.« (Bibel and Furbach 2018, 43) 


Der Theologe und Philosoph Wilhelm Dilthey (1833-1911) hatte im Jahre 1883 ei- 
ne »Einleitung in die Geisteswissenschaften« publiziert, die ihre Fortsetzung 
in seiner erstmals 1910 erschienenen Abhandlung »Der Aufbau der geschicht- 
lichen Welt in den Geisteswissenschaften« fand, und deren spätere Auflagen 
jeweils noch erweitert erschienen, ohne dass das Werk zum Abschluss kam. 
Er führte den Begriff der Geisteswissenschaften ein als »[d]as Ganze der Wis- 
senschaften, welche die geschichtlich-gesellschaftliche Wirklichkeit zu ihrem 
Gegenstande haben« (Dilthey 1883, 5). Es war der Versuch, für die geisteswis- 
senschaftliche Erkenntnis eine logischen Grundlegung zu finden: 


»Neben den Naturwissenschaften hat sich eine Gruppe von Erkenntnissen 
entwickelt, naturwüchsig, aus den Aufgaben des Lebens selbst, welche durch 
die Gemeinsamkeit des Gegenstandes miteinander verbunden sind. Solche 
Wissenschaften sind Geschichte, Nationalökonomie, Rechts- und Staats- 
wissenschaften, Religionswissenschaft, das Studium von Literatur und 
Dichtung, von Raumkunst und Musik, von philosophischen Weltanschau- 
ungen und Systemen, endlich die Psychologie. Alle diese Wissenschaften 
beziehen sich auf dieselbe große Tatsache: das Menschengeschlecht. Sie 
beschreiben und erzählen, urteilen und bilden Begriffe und Theorien in 
Beziehung auf diese Tatsache.« (Dilthey 1883, 3) 


»Geist« waren für Dilthey alle Inhalte der menschlichen Kultur, die zwar das 
einzelne menschliche Bewusstsein übersteigen, wobei aber »das Individu- 
um als Repräsentant der Gemeinsamkeit [dieser Kulturinhalte] erscheint«. 
(Dilthey 1883, 83) Den Geisteswissenschaften sei die Methode des Verstehens 
eigen, die der Theologe und Philosoph Friedrich Daniel Ernst Schleierma- 
cher (1768-1834) für die Erschließung des Sinns von Texten begründete, die 
nicht nur Textauslegung bzw. -interpretation war, sondern deren Verstehen 
bedeutete. Schleiermacher nahm dafür die Bezeichnung »Hermeneutik« in 
Anspruch und ihm ging es dabei auch darum, die Probleme zu erfassen, die 
sich aus den Texten für Theologie, Rechts-, Literatur- und Geschichtswissen- 
schaften ergaben. So wandelte sich die ursprünglich im Mittelalter lediglich 
als Textauslegung verstandene Hermeneutik in der Neuzeit zu einer allge- 
meinen Methodenlehre der Interpretation und des Verstehens. Dilthey legte 
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sie schließlich der Geisteswissenschaft zugrunde, die für ihn Erfahrungswis- 
senschaft der »geistigen Erscheinungen« oder empirische Wissenschaft der 
»geistigen Welt« war (Dilthey 1910). 

Eine Gegenüberstellung der Wissenschaften des Materiellen und des Im- 
materiellen findet sich schon in der »Phänomenologie des Geistes« von Georg 
Wilhelm Friedrich Hegel (1770-1831) und danach in dessen »Wissenschaft der 
Logik«, wo er der Naturwissenschaft eine Wissenschaft des Geistes gegen- 
überstellte, die allerdings den »Geist« als eine ihrer selbst gewisse Vernunft 
zugrunde legt, aus dem heraus sich diese Wissenschaft deduktiv entwickelt. 
Hegels Begriff des Geistes war auf das Leben des Geistes in einer Gruppe, ei- 
nem Volk oder einer Kultur geprägt. Seine Wissenschaft des Geistes betraf die 
vom Menschen selbst erzeugten »geisthaften Gegenständlichkeit« (Blasche 
2008). Sie war keine Geisteswissenschaft im heutigen Sinne, denn sie suchte 
nicht menschlich-geschichtliche Verhältnisse mit den Mitteln der Empirie 
zu erfassen. Eine empirische Wissenschaft des Geistes, die auch historische 
und soziale Verhältnisse berücksichtigt, bedeutete die »Geisteswissenschaft« 
wohl erstmals, als der Chemiker Jakob Heinrich Wilhelm Schiel (1813-1889) 
das Wort verwendete, und zwar als Übersetzer der Arbeiten von John Stuart 
Mill (1806-1873). Dessen Werk »A System of Logic« behandelt im 6. Buch 
mit der Überschrift »Logic of Moral Sciences« logische und methodologische 
Probleme aus Psychologie, Soziologie, Ökonomie und Geschichte; in der deut- 
schen Ausgabe heißt dieses Buch »Von der Logik der Geisteswissenschaften 
oder moralischen Wissenschaften«. Mill sah diese »moral sciences« in ihrer 
Entwicklung gegenüber den Naturwissenschaften zurückstehen und schlug 
vor, dass sie sich diese zum Vorbild nehmen sollten. 


Wissenschaftskulturen 


Als Mitglied des Wiener Kreises hatte Rudolf Carnap (1891-1970) einen logi- 
schen Aufbau der Welt beschrieben (Carnap 1928), Diltheys Aufbau galt der ge- 
schichtlichen Welt in den Geisteswissenschaften und nahm Bezug auf Hegels 
Aufbau der »geistigen Welt«; das war eine zweite Welt oder »zweite Natur« wie 
Theodor W. Adorno (1903-1969) formulierte (Adorno 1966, 289). 

Nicht zwei Naturen sondern zwei Kulturen der Wissenschaft über die 
Natur postulierte der englische Physiker und Schriftsteller Charles Percy 
Snow (1905-1980), als er am 7. Mai 1959 im Senate House in Cambridge die 
Sir Robert Rede’s Lecture unter dem Titel »The Two Cultures and the Scientific 
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Revolution« hielt. Die Kulturen der Naturwissenschaft und Technik (Sciences) 
einerseits und der Geisteswissenschaft und Literatur (Humanities) ande- 
rerseits trenne nämlich eine Kluft: Naturwissenschaftler*innen und Inge- 
nieur”innen einerseits und Geisteswissenschaftler*innen und Literat*innen 
andererseits analysieren, (re)konstruieren, erklären bzw. verstehen die Welt 
auf unterschiedliche Weisen. Die Kluft zwischen beiden »Denkwelten« sei 
fast unüberbrückbar geworden, es gebe kaum Kommunikation zwischen 
ihnen (Snow 1959). Snow erwartete eine Verarmung auf beiden Seiten, weil 
die damaligen Curricula keinerlei Platz für Interdisziplinarität ließen: 


»The clashing point of two subjects, two disciplines, two cultures -- of two 
galaxies, so far as that goes-ought to produce creative chances. In the history 
of mental activity that has been where some of the breakthroughs came. The 
chances are there now. But they are there, as it were, in a vacuum, because 
those in the two cultures can't talk to each other. It is bizarre how very little of 
twentieth-century science has been assimilated into twentieth-century art.« 
(Snow 1998, 16) 


Vier Jahre später sah er das Entstehen einer »dritten Kultur« voraus, denn ei- 
ne neue Generation von Naturwissenschaftler*innen werde die Kluft zwischen 
den beiden Kulturen überbrücken (Snow 1964). Seither wurde oft versucht, Be- 
wegungen auszumachen, die die Unterschiede zwischen den beiden Kultu- 
ren ausgleichen. So veröffentlichte John Brockman 1995 den Sammelband »Ihe 
Third Culture: Beyond the Scientific Revolution«, in dem er diejenigen Wissen- 
schaftler*innen, die sich der Popularisierung von Wissenschaft in ihren Ver- 
öffentlichungen widmen und Antworten »auf die letzten Fragen« für ein brei- 
tes Publikum geben, als eine solche »dritte Kultur« (Brockman 1995). Im Sep- 
temberheft 2007 des Scientific American diskutierte der Wissenschaftshisto- 
riker und -journalist Michael Shermer sogenannte »integrative science«: wis- 
senschaftliche Erzählungen »between technical and popular science writing«, 
»that blends data, theory and narrative«: 


»We are storytellers. If you cannot tell a good story about your data and the- 
ory — that is, if you cannot explain your observations, what view they are for 
or against and what service your efforts provide — then your science is incom- 
plete.« (Shermer 2007) 
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»Dritte Kulturen« entstanden oftmals im Gefolge eines neuen Zugangs, einer 
neuen Theorie oder einer neuen Technologie. Im 20. Jahrhundert wurden na- 
tur- und geisteswissenschaftliche Argumentationen verknüpft, etwa wenn die 
quantenmechanische Unbestimmtheit als mögliche Erklärung für die Willens- 
freiheit des Menschen herangezogen wurde (Jordan 1932), oder wenn der ge- 
netische Reproduktionsprozess als Informationsübertragung gedeutet wurde 
(Kay 2002). 

In seiner Besprechung von Snows »The Two Culture. And a Second Look« 
berichtete Ormsbee W. Robinson (1911-1995), der damals IBM’s Direktor für 
die Planung der Hochschulbeziehungen war, dass das Symposium »Ihe Im- 
pact of Science« im Jahre 1965 nur von 200 Teilnehmer*innen besucht wurde, 
während noch im Jahr zuvor, als das Symposium Kunst und Literatur thema- 
tisierte, von 2500 Menschen besucht worden waren. 


»A studentreporter commented that»politics and art are easy to discuss and 
easy to understand. The impact of science is neither of these.« In all proba- 
bility, the effective understanding that is sought in this program and many 
others will have to await extensive changes in the elementary and secondary 
schools through which the understanding of the scientific revolution will be- 
come an integral part of the total learning experience. The machine, how- 
ever, may now be intervening in this affair.« (Ormsbee 1965, 163-164) 


Die Maschine - damit waren die Computer gemeint und Robinson fuhr an 
gleicher Stelle so fort: 


»A graduate school dean recently observed that at his institution’s computer 
center there had been a degree of contact and communication between the 
scientist and the humanists using the computer which far exceeds any con- 
tact between these groups which has developed in the past.« (Ormsbee 1965, 
163-164) 


Mehr als 30 Jahre spater beobachtete Kevin Kelly, der Exekutivdirektor des Ma- 
gazins »Wired« das internationale Aufkommen einer »The Third Culture«, die 
er in der Zeitschrift »Science« »Techno-Culture« nannte: 


»Techno-culture is not just an American phenomenon, either. The third cul- 
ture is as international as science. As large numbers of the world’s population 
move into the global middle class, they share the ingredients needed for the 
third culture: science in schools; access to cheap, hi-tech goods; media sat- 
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uration; and most important, familiarity with other nerds and nerd culture. 
I’ve met Polish nerds, Indian nerds, Norwegian nerds, and Brazilian nerds. 
Not one of them would have thought of themselves as »scientists.« Yet each 
of them was actively engaged in the systematic discovery of our universe.« 
(Kelly 1998) 


Eine »pop culture based in technology, for technology« sei entstanden, weil die 
Technologie unsere kulturelle Umwelt gesattigt habe, sie zu dominieren an- 
stiinde und es »cool« werde, ein »Nerd« zu sein, und es drange sich die Frage 
auf, was dies fiir das Wissenschaftssystem und seine beiden Kulturen bedeu- 
tete: 


»The only reason to drag up this old rivalry between the two cultures is that 
recently something surprising happened: A third culture emerged. It’s hard 
to pinpoint exactly when it happened, but it’s clear that computers had a 
lot to do with it. What’s not clear yet is what this new culture means to the 
original two.« (Kelly 1998) 


Das Aufkommen der Computer hat das Wissenschaftssystem verandert, zu- 
nächst wandelte ihr Einsatz die experimentierenden Anteile der Natur- und 
Ingenieurwissenschaften, dann auch deren theoretischen Zweige aufgrund 
der großen Rechengeschwindigkeiten und Datenerfassungssysteme und 
schließlich nutzen die Forscher*innen auch die Textverarbeitungssysteme 
(Hashagen 2013). Bald profitierten auch die Geistes- und Sozialwissenschaf- 
ten vom »computational turn« (Berry 2011) u.a. die Linguistik und die Statistik, 
und endlich setzte sich der »Computers als Werkzeug und Medium« (Friede- 
wald 1999) im gesamten Wissenschaftssystem durch. Mit der Verbreitung des 
Internet und der Web-Dienste entstanden schließlich die Digital Humanities. 
Die Geschichte der dritten Kultur als Techno-Kultur kann aber nicht auf 
die der Nutzung des Computers als Werkzeug reduziert werden. Sie wurde 
darüber hinaus von zwei Begriffen geprägt: Intelligenz und Information. 


Energie, Intelligenz und Information 


In der wissenschaftlichen Kultur der Natur- und Ingenieurwissenschaften wa- 
ren Masse und Energie lange Zeit die beiden grundlegenden Größen. Zwar gibt 
es verschiedene Energieformen, diese lassen sich aber auf wissenschaftlich- 
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technischem Wege ineinander umwandeln und die Relativitätstheorie von Al- 
bert Einstein (1879-1955) zeigte, dass die Masse in Energie umwandelbar ist. 
Wenige Jahrzehnte später kam aber wieder eine neue Grundgröße hinzu: In 
seinem 1948 erschienenen Buch »Cybernetics: or Control and Communication 
in the Animal and the Machine« führte Norbert Wiener (1894-1964) die infor- 
mation als eine dritte solche Fundamentalgröße ein, die er auf die Gehirnakti- 
vitäten zurückführte: 


»The mechanical brain does not secrete thought »as the liver does bile,< as 
the earlier materialists claimed, nor does it put it out in the form of energy, 
as the muscle puts out its activity. Information is information, not matter or 
energy. No materialism which does not admitthis can survive atthe present 
day.« (Wiener 1948, 132) 


Schon zum Ende der 1920er Jahre hatte der Physiker und Biologe Leö Szillard 
(1898-1964) der information den Status einer physikalischen Grundgröße zuge- 
sprochen. Seine Habilitationsarbeit handelt von »Eingriffen intelligenter We- 
sen« die bei einer Messung Information erhalten. Auch er bezog die Konzep- 
te Intelligenz und Information aufeinander (Szilard 1929). Etwa gleichzeitig 
findet sich der Versuch eines Brückenschlags zwischen den Kulturen aus der 
amerikanischen Psychologie. Hier stellte David Wechsler (1896-1981) verglei- 
chende Untersuchungen der menschlichen Fähigkeiten an, die damals als Ma- 
ße für verschiedene menschliche Eigenschaften galten (Wechsler 1944). Die in- 
tellektuellen Fähigkeiten des Menschen ließen sich zwar quantitativ bewerten, 
indem die verschiedenen Aspekte dieser Fähigkeiten gemessen werden, aber 
sie seien nicht einfach zu einer Größe »Intelligenz« aufzusummieren. Intel- 
lektuelle Fähigkeiten und allgemeine Intelligenz seien nicht identisch und um 
dies zu untermauern bediente er sich einer Analogiebetrachtung zur Physik: 


»We do not, for example, identify electricity with our modes of measuring it. 
Our measurements of electricity consist of quantitative records of its chemi- 
cal, thermal and magnetic effects. But these effects are not identical with the 
>stuff which produced them. General intelligence, like electricity, may be re- 
garded as kind of energy. We do not know what the ultimate nature of this 
energy is, but as in the case of electricity, we know it by the things it does or, 
better, by the things it enables us to do—such as making appropriate associ- 
ations between events drawing correct inferences from propositions, under- 
standing the meaning of words, solving mathematical problems or building 
bridges. These are the effects of intelligence in the same sense as chemical 
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dissociation, heat, and magnetic fields are the effects of electricity, but psy- 
chologists prefer the term mental products. We now intelligence by what it 
enables us to do.« (Wechsler 1944, 4) 


Wechsler zufolge bewirkt die Intelligenz eines Wesens dessen Fahigkeiten. Auf 
diese verweisen messbare Größen, ähnlich wie die Elektrizität Eigenschaften 
der Materien bewirkt, auf die ebenfalls von messbaren Größen geschlossen 
wird. Diese Verknüpfung von Elektrizität und intelligence hat allerdings noch 
eine andere historische Wurzel, denn dem elektrischen Strom wurde noch vor 
einem Jahrhundert die Eigenschaft zugeschrieben, intelligence übertragen zu 
können. 

Schon seit dem 17. Jahrhundert wurde das telegraphisch zu Übertragende 
in der englischen (und auch in der französischen) Sprache mit dem Wort »in- 
telligence« bezeichnet — ein Wort, das unter anderem die Fähigkeit kognitiv 
bzw. geistig etwas zu leisten, bedeutet, auch das geheime Einvernehmen oder 
Einverständnis zwischen Menschen. Im 18. Jahrhundert findet sich diese Be- 
deutung auch in den entsprechenden Übersetzungen in andere Sprachen: In 
Deutschland wurden amtliche Nachrichten in »Intelligenzblättern« mitgeteilt 
und »Intelligenz« war auch ein Name für die Gebildeten, im Russischen war 
das die »Intelligenzija«. 

Das Wort intelligence stand auch für die Mitteilungen selbst: Schon 1664 sin- 
nierte Robert Hook (1635-1703), der Kurator der Royal Society darüber, einen 
Apparat für »speedy intelligence« zu bauen, wenige Jahre später schlug er vor, 
»speedy conveyance of intelligence« von Ort zu Ort mit Hilfe von Teleskopen 
zu erreichen (Birch 1756, 299). Weitere 12 Jahre hielt er es für möglich, »to con- 
vey Intelligence from any one high and eminent Place, to any other that lies 
in sight of it« (Hook 1684). Auch der für seinen Telegraphier-Code bekannte 
Samuel Finley Breese Morse (1791-1872) gebrauchte das Wort »intelligence« in 
diesem Sinne: Als er im Herbst 1832 von den wissenschaftlichen Experimenten 
mit elektrischem Strom hörte und begriff, dass dessen Wirkung in jedem Teil 
eines stromdurchflossenen Drahtes sichtbar gemacht werden kann, schrieb er: 
»I see no reason why intelligence might not be instantaneously transmitted by 
electricity to any distance. » (Vail 1845, 70) Ein 1893 erschienenes Fachbuch des 
Elektroingenieurs Edwin James Houston (1847-1914) trug den Titel »The Elec- 
tric Transmission of Intelligence: And Other Advanced Primers of Electricity« 
und am 9. Februar 1902 gründeten Albert Cushing Crehore (1868-1958) und 
George Owen Squier (1865-1934) die Crehore-Squier Intelligence Transmissi- 
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on Company, die mitihrem landesweiten Telegraphensystem eine neue vart of 
transmitting intelligence« einzuführen versprach. 

Heutige Begriffe, etwa »Daten« (data), »Nachricht« (message) und »Infor- 
mation« (information) waren in Wissenschaft und Technik noch nicht eindeu- 
tig definiert bzw. etabliert. Stattdessen wurde für alle drei das Wort intelligence 
benutzt, bis der Radio-Ingenieur Ralph Vinton Lyon Hartley (1888-1970) im 
September 1927 auf dem International Congress of Telegraphy and Telepho- 
ny das Wort »information« in die Nachrichtentechnik einführte (Hartley 1928). 
Das Wort intelligence wurde seither in der Nachrichtenübertragung immer sel- 
tener benutzt, so dass seine Bedeutung als Nachricht oder Mitteilung bald ver- 
blasste.* Der Mathematiker und Begründer der »Mathematical Theory of Com- 
munication« Claude E. Shannon (1916-2001) gebrauchte nach dem II. Welt- 
krieg konsequent das Wort »information« für die transportierten Nachrichten 
zwischen Sender und Empfänger. In dem nach ihm benannte Kommunika- 
tionsschema (siehe Abb. 1) geht eine Nachricht von einer Informationsquelle 
zu einem Sender, dieser sendet deren Zeichen über den Kanal, der möglicher- 
weise gestört wird, zum Empfänger, weshalb Shannon zwischen dem Zeichen 
vor dem Kanal und dem empfangenen Zeichen hinter dem Kanal unterschied. 
Vom Empfänger geht dann eine Nachricht zum Kommunikationsziel. 


Abb. 1: Das Kommunikationsschema von Shannon (Shannon 1948, 
381). 
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4 In der englischen Sprache erinnern einige Worte daran: Die »Central Intelligence 
Agency« (CIA) hat als US-amerikanischer Auslandsgeheimdienst die Aufgabe, vor al- 
lem Information über Menschen durch Menschen zu beschaffen, im Gegensatz zur Be- 
schaffung mit technischen Mitteln, die als Signals Intelligence bezeichnet wird. Auch 
der deutsche Geheimdienst BND verwendet entsprechende Bezeichnungen und Ab- 
kürzungen, siehe: https: //www.bnd.bund.de/DE/Die_Arbeit/Informationsgewinnung 
/informationsgewinnung_node.html. 
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Die mathematische Theorie der Kommunikation, etablierte sich in den 1950er 
Jahren innerhalb der Elektrotechnik bei deren Ausdifferenzierung in verschie- 
dene Spezialgebiete unter dem Namen »Information Theory«. Information war 
darin eine technisch messbare Größe. Ihre Bedeutung und die mit ihr verbun- 
denen Absicht bzw. Wirkung, also der Grund für ihre Sendung und was durch 
sie erreicht wurde, waren nicht Gegenstand der Theorie, und entsprechende 
spätere Anwendungen seiner Theorie in den Geistes- und Sozialwissenschaf- 
ten fand Shannon suspekt! (Tribus 1978) 

Genau diese Aspekte sollten aber auch zum Begriff information gehören, 
forderte der Mathematiker und Wissenschaftsorganisator Warren Wea- 
ver (1894-1978) in einem Artikel für den Scientific American, der im Juli 1949 
erschien (Weaver 1949). Er unterschied darin drei Problemebenen dieses 
Begriffs: 


+ Ebene A betrifft die syntaktischen Eigenschaften. 
« Ebene B betrifft die semantischen Eigenschaften. 
e Ebene C betrifft die pragmatischen Eigenschaften. 


Für Weavers weiteren Informationsbegriffs interessierten sich auch Wissen- 
schaftler*innen der geistes- und sozialwissenschaftlichen Kultur. Für den Psy- 
chologen und Philosophen Gerhard Maletzke war die Informationsübertra- 
gung die Beziehung, die Lebewesen untereinander eingehen können: Sie ver- 
ständigen sich, sie sind imstande, innere Vorgänge oder Zustände auszudrü- 
cken, sie teilen ihren Mitgeschöpfen Sachverhalte mit oder sie fordern sie zu 
einem bestimmten Verhalten auf. Pointiert schrieb er: » Kommunikation ist die 
Bedeutungsvermittlung zwischen Lebewesen.« (Maletzke 1963, 16) 


Artificial Intelligence | 


Das interdisziplinäre Interesse an der Informationstheorie war groß. Zur Psy- 
chologie wie auch zur Hirnforschung wurden Schnittstellen gesucht. Umge- 
kehrt interessierten sich Mathematiker*innen, Nachrichtentechniker*innen 
und Computerkonstrukteur*innen ftir das logische Modell von Nervenzellen 
und deren Vernetzung, das Warren Sturgis McCulloch (1898-1969) und Wal- 
ter Pitts (1923-1969) 1943 publiziert hatten (McCulloch and Pitts 1943). Auf dem 
Hixon Symposium itber »Cerebral Mechanisms in Behavior«, das 1948 am Ca- 
lifornia Institute of Technology in Pasadena stattfand (Jeffress 1951), hielt Mc- 
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Culloch den Vortrag »Why the Mind Is in the Head« (McCulloch 1951) und John 
von Neumann (1903-1957) sprach über »The General and Logical Theory of Au- 
tomata« (von Neumann 1951). Auf diese Forscher sowie u.a. auch auf Shannon 
traf hier der junge Mathematiker John McCarthy (1927-2011), der seine Teil- 
nahme am Hixon-Symposium später sein »watershedmoment« nannte (Hayes 
2007): 


»At this symposium, the computer and the brain were compared, the 
comparison being rather theoretical, since there wern'’t [sic!] any stored 
programmed computers yet. The idea of intelligent computer programs 
isn't in the proceedings, though maybe it was discussed. Turing already had 
the idea in 1947. | developed some ideas about intelligent finite automata 
but found them unsatisfactory and didn't publish.« (McCarthy 2002) 


Vier Jahre später war McCarthy zu einem halbjährigen Forschungsaufenthalt 
in den Bell Laboratorien, wo er mit Shannon die Möglichkeiten »intelligente 
Maschinen« zu konstruieren diskutierte. Die beiden beschlossen, einen Sam- 
melband zu diesem Thema herauszugeben. Shannon fand den Begriff »Ma- 
chine Intelligence« allerdings »much too flashy«, und so einigten sie sich für 
das im Jahre 1956 erschienene Buch auf den Titel »Automata Studies« (Shan- 
non and McCarthy 1956). Dass die meisten darin publizierten Arbeiten nicht 
den Intelligenzbegriff, sondern mathematisch-logische Automaten themati- 
sierten, war für McCarthy allerdings enttäuschend. 

In diesen Jahren freundete sich McCarthy mit dem Mathematiker Marvin 
Lee Minsky (1927-2016) an, der damals Junior Fellow in Mathematik und 
Neurologie in Harvard war. Mit Hilfe des Physik-Doktoranden Dean Stockett 
Edmonds (1924-2018) hatte Minsky 1951 an der University in Princeton aus 
Vakuumröhren und einem Motor einen »neuronalen Netzwerksimulator« ge- 
baut: SNARC (Stochastic Neural-Analogue Reinforcement Computer) wurde 
die Grundlage für seine Dissertation (Minsky 1954). Es war diese gemeinsame 
Leidenschaft für die Konstruktion intelligenter Maschinen, die McCarthy und 
Minsky zu zwei der wichtigsten Pioniere der KI werden ließ. 

McCarthy wurde 1955 Assistenzprofessor am Dartmouth College in 
Hanover, New Hampshire. Dortlernte er den IBM-Elektroingenieur Nathaniel 
Rochester (1919-2001) kennen. Mit Minsky, Shannon und Rochester verfasste 
er im August 1955 »A Proposal for the Dartmouth Summer Research Project on 
Artificial Intelligence« (McCarthy, Shannon, Minsky, and Rochester 1955). Den 
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Begriff »Artificial Intelligence«, der zuvor nicht gebrauchlich war, ftihrten sie 
folgendermaßen ein: 


»The study is to proceed on the basis of the conjecture that every aspect of 
learning or any other feature of intelligence can in principle be so precisely 
described that a machine can be made to simulate it.« (McCarthy, Shannon, 
Minsky, and Rochester 1955) 


Unter Artificial Intelligence verstanden die Antragsteller die Simulation der 
höheren Funktionen des menschlichen Gehirns, die ihm/ihr jene Fähigkeiten 
und Verhaltensweisen, ermöglichen, die »intelligent« genannt werden. Sie 
nannten sieben Forschungsschwerpunkte: Für die Grundlage solcher Simula- 
tionen waren (1) »Automatic Computers« notwendig, dann war zu fragen (2) 
»How Can a Computer be Programmed to Use a Language«, was auf damalige 
Spekulationen verweist, dass menschliches Denken auf Wortmanipulatio- 
nen entsprechend logischen Regeln basiert. Zudem sollten (3) »Neuron Nets« 
erforscht werden, wobei damalige Theorien besagten, dass gewisse Neuronen- 
verbindungen zu Begriffsbildungen führen. Gesucht wurde (4) eine »Theory 
of the Size of a Calculation«, die Effizienzüberlegungen berücksichtig, man 
ging davon aus, dass (5) eine »intelligente« Maschine zu einem gewissen »Self- 
Improvement« und (6) zu »Abstractions« von Sensorwerten und anderen Da- 
ten fähig ist. Zuletzt wurden (7) »Randomness and Creativity« angeführt, da 
die Berücksichtigung von Zufälligkeiten den Unterschied zwischen kreativem 
Denken und phantasielosem, kompetentem Denken ausmache (McCarthy, 
Shannon, Minsky, and Rochester 1955). 

Die Rockefeller Foundation genehmigte das Projekt und so konnte vom 19. 
Juni bis zum 16. August 1956 dieses als »Geburtsstunde der Artificial Intelli- 
gence« in die Wissenschaftsgeschichte eingegangene Treffen stattfinden. We- 
der wurden hier aber tatsächlich Versuche unternommen, Maschinen Spra- 
chen benutzen zu lassen, noch sie Probleme lösen zu lassen, die bis dahin dem 
Menschen zu lösen vorbehalten waren. 

Herbert Alexander Simon (1916-2001), Alan Newell (1927-1992) und John 
Clifford Shaw (1922-1991) hatten an Programmen zur Lösung von »ultracom- 
plicated« Problemen, etwa aus den Bereichen des Schachspielens, der Eukli- 
dischen Geometrie, der Streichholzaufgaben oder der symbolischen Logik ge- 
arbeitet. Bei der Rand Corporation in Santa Monica in Kalifornien hatten sie 
den »Logic Theorist« entworfen - ein System, das Beweise einiger Theoreme 
durchführte, wie sie in der »Principia Mathematica« vorexerziert wurden. Die- 
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ses System stellten sie beidem Dartmouth-Treffen vor und auch ein noch nicht 
vollständig fertiges Schachprogramm von Alex Bernstein (1930-1999) wurde 
dort diskutiert (Bernstein 1958). 

Danach beschäftigten sich einige der AI-Pioniere eingehend mit Da- 
tenlistenstrukturen. Minsky hatte noch dort mit Rochester ausführlich die 
Möglichkeiten erörtert, ähnlich dem Logic Theorist, der Theoreme der Aus- 
sagenlogik bewies, auch ein Beweisprogramm für geometrische Sätze zu 
konstruieren. Rochester besprach dies mit seinem neuen Mitarbeiter Her- 
bert Leo Gelernter (1929-2015), der noch im gleichen Sommer gemeinsam 
mit seinem Kollegen Carl L. Gerberich ein solches Programm schrieb. Auf 
Anraten von McCarthy erweiterten sie die Sprache Fortran durch einige Lis- 
tenoperationen zu FLPL (Fortran List Processing Language). McCarthy selbst 
publizierte dann zwei Jahre später mit Hilfe von Rochester, der 1958 Visiting 
Professor am MIT war, LISP als eine mächtigere »List Processing«-Sprache. 
Schließlich ist das Programm SAINT (Symbolic Automatic INTegrator) zu 
nennen, das Minskys Mitarbeiter James Robert Slagle (1934-1994) im Jahre 
1961 in seiner Dissertation zur Lösung von Analysis-Aufgaben entwarf (Slagle 
1963). 


Artificial Intelligence Il 


Schon im Jahre 1950 hatte der englische Mathematiker Alan Mathison Turing 
(1912-1954) in der psychologischen Zeitschrift »Mind« seinen Artikel »Compu- 
ting Machinery and Intelligence« publiziert (Turing 1950). Er hatte das »Imita- 
tionsspiel« eingeführt, das zur Klärung der Frage »Can machines think?« bei- 
tragen sollte. Diese Arbeit hatten McCarthy und Shannon auch schon im Vor- 
wort zu den »Automata Studies« erwähnt: 


»The problem of giving a precise definition to the concept of thinking<and of 
deciding whether or not a given machine is capable of thinking has aroused 
a great deal of heated discussion. One interesting definition has been pro- 
posed by A. M. Turing: a machine is termed capable of thinking if it can, 
under certain prescribed conditions, imitate a human being by answering 
questions sufficiently well to deceive a human questioner for a reasonable 
period of time. A definition of this type has the advantages of being opera- 
tional or, in the psychologists’ term, behavioristic. No metaphysical notion 
of consciousness, ego and the like are involved. While certainly no machines 


Rudolf Seising: Geist, Intelligenz, Information und Daten 


at the present time can even make a start at satisfying this rather strong cri- 
terion, Turing has speculated that within a few decades it will be possible 
to program general purpose computers in such a way as to satisfy this test.« 
(Shannon and McCarthy 1956, V) 


Es gibt nur einen Beitrag in den »Automata Studies«, dessen Uberschrift das 
Wort »intelligence« enthält, und der damit das Vermögen kognitiver Fahigkei- 
ten bezeichnete, die auf seine Gehirnleistung zurückzuführen sind: »Design 
for an Intelligence-Amplifier« vom britischen Psychiater William Ross Ash- 
by (1903-1972). Dieser verarbeitete darin auch psychologische Arbeiten zur 
Intelligenz aus der ersten Hälfte des 20. Jahrhunderts, darunter Wechslers 
Buch »Measurement of Adult Intelligence« (Wechsler 1944) und »Measuring 
Intelligence« (Terman and Merrill 1937) des amerikanischen Psychologen 
Lewis Madison Terman (1877-1956) und seiner Mitarbeiterin Maud Amanda 
Merrill (1888-1978), die darin das Konzept des Intelligenzquotienten von 
William Louis Stern (1837-1890) übernommen hatten. Ashby zog es heran, 
um zu argumentieren, dass die menschliche Intelligenz begrenzt ist und 
ihre Verstärkung durch Maschinenleistungen zur Lösung der vielen anste- 
henden und sehr komplexen Probleme von größtem Nutzen sei. Computer 
seien dazu geeignet, dass, ähnlich wie mit Hilfe von Kraftmaschinen - Ashby 
nannte sie »power-amplifier« - die menschliche Fähigkeit Kraft auszuüben 
bzw. Arbeit zu verrichten verstärkt wird. Entsprechend seien die Computer 
»intelligence-amplifier«, die also keine eigene Intelligenz haben, sondern 
»synthetischen intellektuellen Fähigkeiten«, mit deren Hilfe die menschliche 
Intelligenz verstärkt werden kann. Damit hat Ashby eine Unterscheidung zwi- 
schen natürlicher und einer artificial intelligence angedeutet, die allerdings 
in dem kurz darauf entstandenen Forschungsgebiet Artificial Intelligence 
keine Berücksichtigung fand. Für ihn bedeutete menschliche Intelligenz die 
natürlichen kognitiven Fähigkeiten, während die maschinelle oder »artificial« 
Intelligenz für ihn eine nachrichtentechnische Bedeutung hatte, mit deren 
Hilfe die natürliche Intelligenz zwar verstärkt, aber eben nur verstärkt wer- 
den könne. Hingegen hatten die Antragsteller für das Dartmouth-Treffen 
bei der Attribuierung der intelligence als »artificial« den damals ambivalenten 
Gebrauch des Wortes intelligence nicht thematisiert. 
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Von der Statistik über die Datenwissenschaft zum 
Maschinellen Lernen 


Zur Mitte der 1980er Jahre prägte der Philosoph John Haugeland (1945-2010) 
für die Artificial Intelligence, wie sie bisher beschrieben wurde, die Bezeich- 
nung GOFAI (Good Old Fashioned Artificial Intelligence). Er grenzte sie von 
neueren AI-Ansätzen ab, die sich künstlicher neuronaler Netze und Klassifika- 
tionsbäumen bedienten (Haugeland 1985). GOFAI ging von der Annahme aus, 
dass Aspekte der Intelligenz durch die Manipulation von Symbolen in einer 
Maschine erreicht werden können. Dazu wurden Algorithmen programmier- 
sprachlich formuliert und dann Befehle nach Befehl abgearbeitet. 

Künstliche neuronale Netze und Klassifikationsbäume sind dagegen Al- 
gorithmen, die Muster in Datenmengen suchen. Sie bewerkstelligt auf diese 
Weise etwas, das Menschen schlecht bzw. gar nicht können, nämlich große 
Datenmengen zu beherrschen. Insofern können sie »Intelligence Amplifier« 
sein, weil sie komplementär zur menschlichen Intelligenz Resultate erzielen 
und so deren Auswirkungen verstärken können. Schon 1959 hatte der Elek- 
troingenieur Arthur Lee Samuel (1901-1990) überlegt, wie Computer befähigt 
werden können, zu lernen, ohne dass sie dafür explizit programmiert werden 
(Samuel 1959). Sein Programmcode für das Brettspiel »Dame« enthielt ledig- 
lich die Regeln des Damespiels. Die Güte des Damespiels des Programms wur- 
de aufgrund jener Daten gesteigert, die das Programm erhält, wenn bestimm- 
te Spielkonstellationen, die vorher nicht erreicht worden waren, eine bessere 
Bewertung bekamen. So konnte das Damespielen des Programms optimiert 
werden, während das Programm selbst unverändert blieb. 

Die Ergebnisse wurden mit Wahrscheinlichkeiten bewertet, somit sind die 
entsprechenden Algorithmen probabilistisch, denn anders als die klassischen 
Algorithmen liefern sie Ergebnisse, die nur mit einer gewissen Wahrschein- 
lichkeit richtig sind, während die klassischen Algorithmen stets die eindeuti- 
ge Lösung des Problems finden. Die so programmierten Algorithmen »lernen« 
in dem Sinne, dass ihr Output mit der Zeit verbessert werden kann. Die Pro- 
gramme führen also nicht bei jedem Durchlauf auf denselben Ausgabewert. 
Bei der Bewältigung ihrer eng begrenzten Aufgaben können ML-Algorithmen 
sich somit immer weiter verbessern. 

Große Expertise im Umgang mit Daten hatten lange vor den Compu- 
tern die Statistiker*innen erworben, die schon in ihren frühen Anfängen als 
»Staatsbeschreibung« vor allem Daten erhoben, gesammelt und analysiert 
hatte. Die Statistik wurde zu einer Wissenschaft, die das Verständnis von 
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Daten fördert und daran anschließend Hypothesen zu generieren imstande 
ist und ihre Methoden wurden in allen empirisch arbeitenden Wissenschaften 
wichtig. Ihre Geschichte verläuft zwischen mathematischer Theorie, wis- 
senschaftlichem Berechnen und Anwendungen. Mit letzteren begann ihre 
historische Entwicklung, die aber bald einer Mathematisierung unterzogen 
wurde. Das mathematisch-statistische Methodengebäude entstand bis zur 
Mitte des 20. Jahrhunderts nahezu ungestört, bis im Jahre 1950 die Arbeit 
»Statistical Decision Functions« von Abraham Wald (1902-1950) erschien 
(Wald 1949). Sie steht für einen gewissen Abschluss der Mathematisierung 
der Statistischen Inferenz, wie die beiden Statistiker und Stanford-Professo- 
ren Bradley Efron (*1938) und Trevor Hastie (*1953) im Epilog ihres vor acht 
Jahren erschienenen Buchs »Computer Age Statistical Inference« schreiben 
(Efron and Hastie 2016). Bis dahin spielte der empirisch-numerische Zugang, 
ihrer Ansicht nach kaum eine Rolle. Erst mit Aufkommen der elektronischen 
Computer veränderte sich die Statistik-Entwicklung in der zweiten Hälfte des 
20. Jahrhunderts und es setzte ein Prozess ein, der die Statistik aus ihrem 
»Eigenbrötlertum« um mathematische Strukturen herausgelöst und mitge- 
rissen habe, argumentieren die beiden Autoren des Buchs, das den Untertitel 
»Algorithms, Evidence, and Data Science« bekam. 

Bereits 1962 hatte der Statistiker John Wilder Tukey (1915-2000) von seinen 
Kollegen im Artikel »The Future of Data Analysis« eine anwendungs- und be- 
rechnungs-orientierte Ausrichtung der Statistik als Disziplin gefordert (Tukey 
1962). Er beurteilte den zur erwartenden »impact of the computer« realistisch, 
wenn er schrieb, dass die Datenanalyse »could be done by hand on small data 
sets, but [...] speed and economy of delivery of answer make the computer es- 
sential for large data sets and very valuable for small sets.« Und: »The future 
of data analysis can involve great progress, the overcoming of real difficulties, 
and the provision of a great service to all fields in science and technology.« 
(Tukey 1962, 64) Acht Jahre spater wies er den Statistikern den Weg von den 
damals dominanten mathematischen Methoden der statistischen Analyse zur 
datengenerierten Herleitung von Hypothesen. Gemeinsam mit Jerome Harold 
Friedman (*1939) entwickelte er die statistische Methode »Projection Pursuit 
zur Problemlösung bei Daten mit sehr viele Dimensionen. Bei dem Verfahren 
wird in den hochdimensionalen Datenraum eine Hyperebene gelegt, auf die 
die Daten zu projiziert werden. In diesen Projektionen lassen sich »interes- 
sante« Strukturen aufdecken (Friedman and Tukey 1974). 

Im Juli 1982 prophezeite Tukey in seinem Vortrag »Another Look at the 
Future« für das 14. Interface-Symposium, dass die künftigen Computer die 
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Datenanalyse gravierend verändern würden: »data analysis would become so 
computationally intensive that it would push the limits of existing computer 
systems.« Deswegen plädierte er für interdisziplinäre Zusammenarbeit der 
Kulturen der Statistik und der Computer Science: 


»This means (i) large systems, (ii) systems planned both for growth and for 
easy specialized attachment, (iii) cooperation between a variety of insight- 
ful data analysts on the one hand and a variety of computer experts on the 
other — each group with diverse skills. Success will not be easy, but starting 
now poses no major barriers. There are people with enough insights of the 
needed kinds, though they may be hard to find and assemble. And we can 
expect the 4th or 5th generations of such systems to be far, far better than 
anything we have today.« (Tukey 1982) 

»Something important changed in the world of statistics in the new millen- 
nium« schrieben Efron und Hastie, und die Ursache dafür sahen sie in den 
Möglichkeiten der Voraussagealgorithmen die das Fach Statistik zu »Data 
Analytics«und schließlich zur»Data Science« wandelten. Mitihren Erfolgen, 
die sich mit Big Data einstellten, wurden sie immer wichtiger. Efron und Has- 
tie nennen sie die »media stars ofthe Big-Data era« (Efron and Hastie 2016, 
446). 


Im Jahre 2001 publizierte Leo Breimans (1928-2005) den Artikel »Statistical 
Modeling: The Two Cultures«, der im gleichen Heft von zahlreichen Fachkol- 
leg*innen kommentiert wurde (Breiman 2001). Innerhalb der Statistik gebe es 
zwei unterschiedliche »Kulturen« des statistischen Modellierens: Von den Da- 
ten zu ihren Schlussfolgerungen gelangten Statistiker*innen entweder ausge- 
hend von der Prämisse, dass ein gegebenes stochastisches Datenmodell die 
Daten erzeugt oder sie verwenden algorithmische Modelle ohne Vorannah- 
men über einen Datenmechanismus. Die traditionelle Statistik-Kultur beruhe 
auf dem Glauben, dass ein(e) Statistiker”in durch Vorstellungskraft und Blick 
auf die Daten eine einigermaßen gute parametrische Klasse von Modellen für 
das Naturgeschehen entwickeln kann, und daraufhin würde sie/er die Para- 
meter schätzen und Schlussfolgerungen ziehen. Breiman hielt diese Modelle 
nicht mehr für genügend, weil die betrachteten Systeme ungeheuer groß und 
komplex sind und aus den Wissenschaften immer mehr Fragen aufkamen. So 
mussten auch die Datenstrukturen immer komplexer werden und es wurde 
schwieriger, geeignete Datenmodelle zu konstruieren. 

In der »industriellen Statistik« hatte sich seit Jahrzehnten ein alter- 
natives Vorgehen entwickelt und etabliert. Hochkomplexe Probleme, die 
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sich der Datenmodellierung entzogen, fanden sich z.B. vermehrt bei der 
Sprach- und Bilderkennung bzw. -verarbeitung, sowie bei der Voraussage 
von nichtlinearen Zeitreihen und Finanzmarktanalysen. Seit der Mitte der 
1980er Jahre setzten in diesen Feldern vor allem jüngere Informatiker*innen, 
Physiker*innen und Ingenieure*innen auf die neuen algorithmischen Mo- 
delle der künstlichen neuronalen Netzwerke oder der Entscheidungsbäume. 
Auch Psychometriker*innen und Sozialwissenschaftler*innen nutzten diese 
Verfahren. Zu dieser neuen Wissenschaftskultur der algorithmischen Model- 
lierung gehörten damals aber kaum Statistiker*innen aus den Universitäten: 


»[..] the list of statisticians in the algorithmic modeling business is short, and 
applications to data are seldom seen in the journals. The development of al- 
gorithmic methods was taken up by a community outside statistics.« (Brei- 
man 2001, 205) 


Die Kultur der algorithmischen Modellierung nutzt Algorithmen zur Klassifi- 
zierung von Daten und zu ihrer Voraussage aufgrund schon vorliegender Da- 
ten, und wegen ihrer hohen Prognosegenauigkeit war sie sehr erfolgreich. Sie 
basierte auf zwei wichtigen Veränderungen: »[to] challenge for the tools and 
computers of the time« (Cutler 2010, 1622) und »[to] make the transition from 
probability theory to algorithms« (Breiman 2001, 215). 

Friedman hatte diese »Data-Mining-Revolution« erwartet, und auch gese- 
hen, dass sie das Fach Statistik an einen Scheideweg bringt. Er empfahl seiner 
Zunft: »make peace with computing« und »moderate our romance with math- 
ematics« (Friedman 1997, 6). Im gleichen Jahr forderte Chien-Fu Jeff Wu (*1949) 
die Statistiker*innen-Community auf das Fach Statistik in »Data Science« um- 
zubenennen und nicht mehr von »Statistiker*innen«, sondern von »Data sci- 
entists« zu sprechen: »It is time in the history of statistics to make a bold move« 
(Wu 1997, 11). Man möge sich auf die »großen Datenmengen« fokussieren, sich 
den anderen Wissenschaften mehr öffnen — auch für die Ausbildung von Da- 
tenwissenschaftler*innen sollten die anderen Wissenschaften treibend sein -, 
deren empirisch-physikalischen Ansatz und deren Wissen zur Problemlösung 
nutzen. 

Zum Ende des 20. Jahrhunderts waren für die statistische Inferenz com- 
puterintensive Algorithmen eingeführt worden,” die Software-Packages SAS 


5 Die israelischen Statistiker Yoav Benjamini (*1949) und Yosef (Yosi) Hochberg 
(1945-2013) publizierten die Falscherkennungsrate (englisch False Discovery Rate), die 
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und SPSS waren weit verbreitet, es entstanden Mathematica und Matlab, und 
die auf statistischen Computersprachen S und ihrem »Open Source«-Nachfol- 
ger R aufsetzenden Algorithmen kamen hinzu (Ross and Gentleman 1996). Zu- 
dem wurden die Algorithmen der künstlichen neuronalen Netze, und des Deep 
Learning sowie andere Machine-Learning-Algorithmen populär. Auch der Sta- 
tistiker William Swain Cleveland (*1943) warb nun dafür, dass aus der Statis- 
tik eine Data Science hervorgehen möge, indem sich die Statistiker*innen den 
technischen Aspekten der Disziplin der Informatik zuwenden und mit deren 
Vertreter*innen zusammenzuarbeiten (Cleveland 2001). 

Noch im Jahre 1997 hatte Friedman in einem Keynote-Vortrag auf dem 29. 
Symposium on the Interface Between Computer Science and Statistics davor 
gewarnt, dass die Statistiker*innen, die auf sie zukommende Data-Mining- 
Revolution verpassen könnten (Friedman 1997). Gut ein Jahrzehnt später er- 
klärte Wilkinson diese Revolution für beendet: »we are in an era of machine 
learning« (Wilkinson 2008, 419).° 


Schluss 


Der Begriff der intelligence ist in den letzten Jahrhunderten in verschiedenen 
Wissenschaftskulturen und in verschiedenen Bedeutungen benutzt worden. 
In der Nachrichtentechnik stand intelligence seit Beginn der Uberlegungen zur 
Telegraphie bis ins erste Drittel des 20. Jahrhundert für die Mitteilungen und 
damit sowohl für die übertragenen Nachrichten als auch für deren Bedeutung. 
In der Psychologie wurde mit intelligence die Ursache für die intellektuellen Ei- 
genschaften der Menschen bezeichnet, später auch anderer Lebewesen, und 
mit Aufkommen der Computer schon bald auch der Maschinen. Schon die frü- 
hen Versuche diese verschiedenen Begrifflichkeiten zu klären und so die spä- 
ter von Snow benannte Kluft zwischen diesen Wissenschaftskulturen zumin- 
dest an einer Stelle zu überbrücken, stifteten Verwirrung, die noch verstärkt 
wurde, als der intelligence das Attribut artificial mitgegeben wurde. Damit war 
die in Maschinen programmierte Simulation der intellektuellen Eigenschaften 


ein Testverfahren zur Beherrschung multipler Testprobleme liefert und Robert Tibs- 
hirani (*1956) formulierte die »Lasso« (Least absolute shrinkage and selection opera- 
tor) genannte Regressionsanalysemethode. Siehe dazu: (Tibshirani 1996). 

6 Kursive im Original. 
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von Menschen gemeint, doch auch die hypothetische Annahme, dass Compu- 
ter bzw. Computerprogrammen selbst diese intellektuellen Eigenschaften zu- 
geschrieben werden kénne und sie deshalb intelligent zu nennen seien, wurde 
vertreten. Und dann gab es auch noch die Interpretation der Artificial Intel- 
ligence als computerisierte Verstarkung der menschlichen Intelligenzleistun- 
gen. In den letzten Jahrzehnten wird unter Artificial Intelligence nun das Ma- 
chine Learning verstanden, das von datengetriebenen Algorithmen handelt, 
die gerade solche Leistungen hervorbringen, zu denen Menschen nicht in der 
Lage sind. Für den Fall, dass jemand den technischen Dingen überhaupt intel- 
ligence zuschreiben will, konnte das Akronym AI dann zu »Alternative Intelli- 
gence« aufgelöst werden. 
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Moral Decision-Making via Al - deep ethics? 
About shifting or losing responsibility 


Tanja Henking 


According to the latest statement of the German Ethics Council »Man and 
Machine - Challenges posed by Artificial Intelligence«, Vice-Chairman Julian 
Nida-Rümelin stated in a press release that »AI applications cannot replace 
human intelligence, responsibility and evaluation« (German Ethics Council 
2023, press release). In addition to human intelligence, which may still need 
to be more clearly differentiated from Artificial Intelligence, this refers to two 
terms in particular, which will be examined closely in the following: evalua- 
tion/judgement and responsibility. In essence, it is about evaluation from an 
ethical perspective, which ultimately also has to stand up to legal scrutiny. This 
entails responsibility for making the evaluation, the evaluation process and, 
finally, the outcome of the evaluation/assessment process. 


The terms »morality« and »ethics« are used in this article, but there is not 
enough space here to clarify them in greater detail. Put simply, morality is 
understood as the rules and values generally accepted in a society and ethics as 
the science of morality. It, thus, also addresses the question of right and wrong. 
Similarly, the formulation of ethical reflected decisions or actions is used. The 
question of whether a decision is right or wrong should be separated from 
the question of what rules and values we give ourselves as a society and which 
support our coexistence. In this context, the term »evaluation/judgement« 
mentioned at the beginning presupposes a moral capacity for judgement, 
which we assume in humans, but which can at best be trained into an Artificial 
Intelligence (AI). Whether an Al can also learn this is addressed by the question 
of a moral AI or the concept often already formulated of moral machines (or 
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only morally acting machines). The question that follows is whether an Al can 
ever acquire this ability or ifit can only ever represent majority ideas. The hint 
that majority decisions are not always correct, and minorities should not be 
neglected does not really need any further mention. However, the question 
of a moral AI ignores a question that needs to be clarified beforehand: the 
understanding of ethics. 

Formulations such as moral or ethical AI fall short. They pretend that the AI 
»experiences« an ethical conflict and has to solve it. This often involves different 
questions of morality, ethics and norms, and this on different levels. However, 
distinguishing between the different levels and tasks is essential if we are to 
approach the question ofa moral AI at all. This begins with the issue of who de- 
termines the morals, ethics and norms that are fed into an algorithm and ends 
with the question of who evaluates the result at the end. Finally, it is also im- 
portant to know whether humans are able to comprehend the decision-mak- 
ing process at all. This addresses a central (and largely unresolved) question, 
namely, the explainability of AI (Amann et al. 2020). Does the human consider 
the result found to be correct or does the Al evaluate it as correct - and what 
is the benchmark for evaluation? Should we not solve these questions first be- 
fore we give in to the »temptation« of handing over these difficult questions 
to AI? And furthermore: Why should we actually want this? What benefits are 
promised, what risks are feared? 

Do humans provoke ethical conflicts by using AI or do they solve them by 
employing Al? If they want to solve ethical conflicts by means of AI, this is based 
on an understanding of ethics that should be contradicted at this point. The 
ethical conflict relates to people and is bound to people. There can be no objec- 
tive right and wrong, but a person-specific solution is required. The individual 
involved in an ethical conflict cannot allow themself to be relieved of responsi- 
bility by an AI (Sparrow 2021). This will be shown in the following. 

This is because for an AI to »experience« a conflict, it must not only be able 
to decide between A and B, but also take into account the values that shape 
the situation and influence a decision, it must see what is in favour of A and 
in favour of B. In the case of a real ethical conflict or even dilemma, we see 
humans struggling with it, wrestling to make the right decision, and perhaps 
even suffering from the fact that there will always be vulnerabilities left in the 
decision-making process under any consideration. When humans have gone 
through this conflict, wrestled with a decision, we will often be able to accept 
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the decision made. An Al will not do this; it makes the decision according to a 
predetermined principle’ (Iphofen and Kritokos 2019). 


This raises the question of whether AI has morals or can be trained to have 
them. What moral concepts underlie the AI? What ethical values does the Al 
pursue? This question is anything but trivial. If an Al is to be used for questions 
that are primarily normative in nature, the search for an answer to this ques- 
tion is almost mandatory, because only then it is possible to make transparent 
according to which ideas the AI is operating, and which value system has been 
»written« into its training data set. If one takes a norm from a law, then the AI 
would at least have to be able to consider the legal methods of interpretation, 
and feed in case law and the literature of legal science. It would need to be able 
to classify possible »minority opinions« according to their significance for the 
debate. So, is the legal machine possible? Why law also needs common sense 
cannot be part of this contribution, which is to be limited to morality, ethics 
and responsibility. Nevertheless, some of the following considerations will be 
transferable. 

However, first of all, let us return to moral values. This raises questions that 
have preoccupied philosophers and ethicists for centuries. According to which 
principles do we judge our actions? The deontological approach, which is pre- 
dominant in the German tradition, and a utilitarian approach will be chosen 
for the following considerations in order to shed light on the problem of the 
criteria according to which a decision should be made. The ethics of princi- 
ples, which is widespread in medical ethics, will be used again later to ques- 
tion whether the shifting of decisions to an Al-based system is convincing and 
which considerations should override the question of mere feasibility and, bet- 
ter still, be placed in front of it. 

According to deontology, an action in itself can be good or bad, wrong or 
right. The action is not evaluated according to its consequences. Following its 
probably most prominent representative, Immanuel Kant, the action is judged 
according to whether it is in compliance with an obligatory rule and if the ac- 


1 The discussion about the possible legal personality of the Al in the future is not in- 
tended to take place here. 
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tion is committed based on this obligation. Deontology, thus, focuses on the 
preconditions of action (Stanford Encyclopedia of Philosophy 2020). 

By contrast, utilitarianism, which goes back to Jeremy Bentham (1780) 
and, thus, has its origins in the 18th century, pursues a different idea: action 
is evaluated according to its utility. Therefore, from a utilitarian perspective, 
the greatest possible benefit for as many people as possible is the standard for 
correct human decision-making behaviour (Stanford Encyclopedia of Philos- 
ophy 2017). Prima facie, it is easier to work with this approach in the context 
of AI (similar Iphofen & Kritikos 2019). It is important to keep this in mind 
because we might be abandoning our tradition. 


Medical decision-making situations, as situations with normative impact 
and which could affect every human being, will be the focus of the following 
section. Al-based clinical decision support systems (CDSS) are increasingly 
finding their way into medicine. The Central Ethics Committee of the German 
Medical Association (ZEKO) dedicated a statement of its own regarding this 
issue in 2022, emphasising the role of the human being in addition to the 
possible benefit, whereby the human being should not be forced out of the 
decision (ZEKO 2022). 

The concern about automated decisions is expressed in Art. 22 of the Gen- 
eral Data Protection Regulation, where it states that »the data subject shall have 
the right not to be subject to a decision which produces legal effects concern- 
ing him or her or similarly significantly affects him or her and which is based 
solely on automated processing [...]«. 

The CDSS can now help to find the right diagnosis, issue warnings, for ex- 
ample, if there is a risk of impending sepsis, or make therapy suggestions for 
a previously defined diagnosis. 


IV 


As part of the Check.App project funded by the Federal Ministry of Educa- 
tion and research (BMBF), the ethical, legal and social implications of so-called 
symptom checker apps that allow users to classify their symptoms by means of 
an app-controlled medical history are being investigated (Wetzel et al. 2022; 
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Müller et al. 2022). The apps work predominantly with the probabilities of a 
diagnosis. This is followed by the recommendation to consult a doctor or even 
go to an emergency room. These apps are currently being discussed primar- 
ily from the point of view of accuracy (Gilbert et al. 2022). However, it is in- 
teresting to see how the use of these apps could affect the doctor-patient en- 
counter in the long term. As long as one sees this app operating in a social in- 
surance system with free health care, a noticeable impact on the health-care 
system is probably not expected. The fact that the resources of even a funda- 
mentally well-equipped health-care system are finite is shown by the current 
debate about the congestion of emergency rooms, with the result that work is 
being done on the use of algorithms for triage, the use of which, however, is not 
uncontroversial due to fears about patient safety (Elsner et al. 2018; Marburger 
Bund/DGINA/DIVI, Gemeinsame Pressemitteilung 2021). 

The keyword »triage« addresses an area that exemplifies a real ethical 
dilemma. First of all, triage means sifting, sorting. The term originally comes 
from disaster medicine. The objective of triage is to save as many people as 
possible with limited resources. Whereas before the COVID-19 pandemic the 
term was probably only known to experts, the pandemic has turned it into a 
description of a scenario in the general population which people faced with 
worry and fear. While German hospitals - to the best of our knowledge - do 
not have to triage in the same way as hospitals in France, New York or Berg- 
amo/Italy, debates have, nevertheless, been triggered that have, at least, called 
into question certain basic ethical assumptions (German Ethics Council 2020). 
The discussion was initially reduced to the question of who should receive a 
ventilator when only one is available, but two patients need it. The question 
is broadened to include the situation of the patient who arrives later and for 
whom no ventilator is available, but who may have a better survival situation 
than the patient who has already been ventilated. If we take the situation that 
is initially easy (or easier) to assess from a legal point of view: more patients 
arrive at the same time and there is not enough capacity available. Not all 
patients can be treated and saved (or given a chance of being saved). If the 
doctor saves patient A but not B, the doctor cannot be blamed from a legal 
point of view. This is because two obligations meet here, both of which the 
doctor cannot fulfil. Which patient he or she chooses, A or B, is ultimately 
irrelevant. In order to relieve physicians of the burden of this difficult and 
stressful decision-making situation, the medical society of intensive care 
physicians has provided them with criteria to help them make decisions. 
These criteria focus primarily on the prospects of a successful treatment (DIVI 
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2020). In other words, those who have a better chance of surviving the disease 
through treatment should receive it. Those who are less likely to survive, such 
as those who are older, overweight or have certain pre-existing conditions, 
will not receive the treatment. The idea of transferring this decision-making 
algorithm to an AI is not far-fetched, and it has sometimes been reported 
that such an algorithm has been used. If one considers the idea of triage 
according to the criteria of success, it quickly becomes apparent that the 
distribution of limited resources is based on the greatest possible benefit. 
Triage is utilitarian by its very nature. The medical likelihood of success may 
be a selection criterion, but it is not mandatory. Therefore, other criteria 
have been put up for discussion in the context of the debate on triage in the 
pandemic. These range from age and, thus, life expectancy (Hoven 2020), 
the juxtaposition of the young mother versus the older man with a previous 
illness, to the decision by lot (Walter 2022). If one were to (be able to) agree on 
one of these criteria, an AI would also have to take this into account if it is to 
decide morally in the sense of a normative consensus. However, this type of 
evaluative criteria, which can also be classified as utilitarian, has so far been 
consciously avoided in the German legal system. The decision of the Federal 
Constitutional Court on the Aviation Security Act (Luftsicherheitsgesetz), 
which was passed with the collapsing Twin Towers in New York in mind, is 
groundbreaking. Can shooting down a plane carrying 300 people be justified 
if it could save 3000 people? The Federal Constitutional Court has rejected the 
quantification of human lives and declared the authorisation to shoot down 
an aircraft unconstitutional and not justified (BVerfGE 115, 118 — 166). From a 
legal point of view, one thing is important to distinguish: the Aviation Security 
Act would have provided an authorisation basis for the selection decision to 
the detriment of the aircraft occupants. If the pilot themself were to make a 
decision in the acute, specific situation that - regardless of how they decide - 
leads to the death of human lives, then they would not be blamed for making 
a particular decision. Similar to the case of medical triage, if all the people 
cannot be saved, the doctor cannot meet all the obligations, so cannot be 
blamed for their selection decision (Gerson 2020). That their decision remains 
a personally burdensome one, because their rescue decision is, at the same 
time, a non-salvation decision, is the essence of the real ethical dilemma. The 
person remains (morally) responsible for their decision. 

Similar scenarios have recently been discussed for autonomous driving. 
Which group of people should the car steer into if a collision is unavoidable: the 
group of children or the group of pensioners? Here too, similar to the real triage 
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described above, a genuine ethical dilemma is constructed, which is, however, 
provoked by the use of autonomous vehicles. Therefore, it is demanded in some 
cases that the human being must remain (in the loop). Human beings can act 
neither rightly nor wrongly, because no matter how they decide, their decision 
will not be entirely without harm to one person or one group of people and, si- 
multaneously, of benefit to the other person or group of people. Would chance, 
therefore, be the only ethically correct decision or should another ethically cor- 
rect decision be taken into account within the framework of a programmed de- 
cision and would this decision then be dependent on the respective value sys- 
tem of a society. So should the car have been driven into group A in one country 
and into group B in another? This would be a normative question that would 
have to be decided in advance of an anticipated collision. However, this shows 
one thing quite clearly here: whereas the situation in the triage described above 
falls on the doctor and they have to make a decision, this triage is one that is 
calculated in advance. The algorithm will experience a moral stress and no deci- 
sion burden. It is not a decision that affects or concerns the algorithm person- 
ally. It suffers from neither the decision to be made nor the consequences. For 
the algorithm, the decision remains impersonal. This makes one thing clear: 
ethical conflict is personal (Sparrow 2021). It is, therefore, not a question of 
an ethical AI or ethical decision-making in these situations, but rather of an 
anticipated, ethically problematic decision-making situation for which a deci- 
sion has already been made in advance of the actual situation. 

However, this raises the question of whether the use of algorithms/AI 
would reduce or even increase the decision-making burden and the moral 
distress associated with it. Can the person hand over the decision and, thus, 
relieve themself, or would they experience it as a burden and ultimately feel 
powerless? Another difficulty in this context, however, should be highlighted. 
The starting point was the moral or ethical question underlying a decision. Al- 
though the law represents a basic moral consensus of a society, it can also raise 
ethical questions. When the legislator passes a norm, however, it is based on 
fundamental decisions of coexistence, on the one hand, and requires interpre- 
tation and is subject to further development, on the other hand, as advanced 
by the literature in the legal sciences and case law. Concepts in need of inter- 
pretation such as »well-being« come to mind. Well-being can be understood 
subjectively or objectively (Braun et al. 2022). While the »best interests« prin- 
ciple applies in other legal systems, German guardianship law, for example, 
does not recognise this, and it is not uncommon for translational inaccuracies 
and difficulties of interpretation to arise here in legal comparisons (relevant, 
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inter alia, in decisions concerning the end of life). Moreover, even the question 
of what is in a persons best interests is subject to interpretation and will be 
influenced by changing social understanding and Zeitgeist. Incidentally, the 
legislator decided to delete the term »well-being« in the law on guardianship 
in order to counter difficulties of interpretation and misunderstandings ob- 
served in practice (Schnellenbach et al. 2020; Henking, 2022). The legislator 
has now also enacted a law in the area of triage within the framework of the 
Protection against Infection Act. To the best of our knowledge, this regulation 
on triage is unique throughout the world. The legislature was called upon to 
act after the Federal Constitutional Court (BVerfG, decision of 16.12.2021, ref.: 
1 BvR 1541/20) shared the concerns expressed in a constitutional complaint 
of discrimination against persons with disabilities in the case of triage. The 
German Protection against Infection Act was expanded by Sec. 5c of the act 
to include a prohibition of discrimination, according to which no one would 
be disadvantaged in the event of the insufficient availability of intensive care 
treatment capacities essential for survival because of, inter alia, their disability, 
age or degree of frailty. The allocation decision should only be made based 
on the current and short-term survival probability of the patient concerned. 
This already raises the question of how short »short-term« should be defined. 
Comorbidities may be taken into account, but only in the assessment of the 
current and short-term probability of survival if they significantly reduce the 
short-term probability of survival related to the current disease due to their 
severity or combination. If one were to make this decision (which, according 
to the law, has to be made by two doctors) with an AI-based decision support 
system, then all these normative preconditions, which are controversial in 
detail, would have to be taken into account. It would be feasible to limit the 
AI to a statement on the probability of survival, which only hints at another 
difficulty: the uncertainties of any prognosis — especially in the case of people, 
all of whom have a poor prognosis to begin with. Just consider that less than 
half of the patients suffering from COVID-19 who received invasive ventilation 
have survived (Karagiannidis et al. 2020). One can imagine Al-based decision 
support systems in various clinical settings where they are already partially 
in use (see above). But if one imagines this system in end-of-life decisions, 
then the question arises here, too, whether ethical, normative questions are 
excluded or frozen to a value concept at time X. And once again, the question 
arises as to which moral and value concepts influence the decision. This is 
because, according to our system of values, we do not follow a »best interest« 
principle (the content of which would also have to be clarified) which would 
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allow for an objective consideration, but what is required is a determination of 
the (presumed) will of the individual oriented towards their subjective inter- 
ests. In other words, the value system of the person, of the individual, has to 
be used for the decision of further treatment or the limitation of therapy. This, 
in turn, makes the ethical decision a personal decision, both for the individual 
concerned and the person who may have to make it on their behalf. Let us 
assume that this decision has to be made by a relative (health-care proxy), 
then this decision remains a personal decision (Sparrow 2021). The relative 
has to determine and consider the values of the person concerned in their own 
individual case. They cannot remove themselves from this responsibility; they 
cannot transfer it to an AI system (Sparrow 2021). The AI will not be able to 
tell them what their relative would have wanted in concrete terms or whether 
they themselves are struggling with the interpretation and implementation 
of this will, because their decision also has consequences for their own life. 
Other considerations could possibly run the risk of giving (too much) weight 
to general values. The ethical complexity here arises from the challenge of 
determining the will of the person in the concrete situation and, thus, making 
the »right« decision for them. 

The temptation to use AI for such decision-making situations may seem 
attractive. Meier et al. (2022) have presented a proof of concept for ethical deci- 
sion-making in the clinic. This is intended to help with ethical decisions. Their 
main aim is to show whether a decision support for ethically difficult ques- 
tions can be developed by means of an algorithm. The authors obtained their 
training data set from clinical cases of clinical ethics committees. The cases 
are categorised in the areas of abortion, decisions regarding minors, refusal of 
treatment and end-of-life decisions, among others. They used the principles of 
ethics according to Beauchamp and Childress (2019), the approach most fre- 
quently used in the clinical field to discuss ethical questions. They have tried 
to operationalise these principles of ethics and develop a corresponding algo- 
rithm. Their approach showed an astonishingly frequent agreement between 
the algorithm-based recommendations and those of experts or textbook cases. 
But is this now also proof that ethical questions can be solved in an Al-based 
way? And why would one want to do this? The authors speak, among other 
things, of limited time and personnel resources, which, in the worst-case sce- 
nario, could again mean triage, even if these case constellations did not play 
a role in the data set of the research design. However, the question remains: 
what are we actually hoping for (see critical statement by Gundersen and Baroe 
2022)? What is the understanding of ethics behind these considerations (Spar- 
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row 2021)? Does the use of AI lead to a reduction in the workload of the staff 
responsible for the decision-making and care ofthe patient? This can only be 
convincing ifthe relinquishment of decision-making authority reduces stress. 
Can the doctor be relieved of responsibility? Can it shift the decision? However, 
the person remains the one who implements the decision in the end. They re- 
main involved and, thus, it is still a personal ethical decision. The idea of eth- 
ical case consultation also aims to show the different values, the various in- 
terpretations and their points of contact that exist in a group and to work out 
these different viewpoints in a moderated process and develop a willingness to 
take on the perspective. This deliberation cannot be done by an AI. It remains 
a human task. The decisions that have to be made in the context of an ethical 
case conference represent ethical problems. Rarely do we encounter real ethi- 
cal dilemmas as in triage. The authors are rightly confronted with the criticism 
that they have not sufficiently explained why the use of AL is necessary (Sauer- 
brei et al. 2022). Both the WHO warning not to use Al as a first resource and 
the EU Ethical Guideline for Trustworthy AI (HLEG 2019) have to be recalled in 
this context. 

If we once again combine the examples of autonomous driving and deci- 
sion-making in medical contexts, the question remains open as to whether and 
when we are prepared to leave or hand over the decision to an AI. At what level 
of automation does the person withdraw from the responsibility for the deci- 
sion or is there a pressure to justify wanting to decide differently from the AI 
(the comparison of autonomous driving can be found at Eric Topol 2019; Henk- 
ing, 2023; Duttge 2019; Katzenmeier 2019)? 


V 


While AI can be expected to bring new accuracy, an increase in knowledge and 
objectivity to the assessment of medical prospects of a successful outcome, in 
addition to the finding that the human body reacts individually, it is first nec- 
essary to address where and when implicit values play a role. Decisions at the 
end of life are a good example of this, especially because the increasing need as 
a person to be able to make decisions as independently as possible at the end 
of life has played an increasingly important role in recent decades. This also re- 
flects the values of a society whose morals and ethics are changing. Whether 
this individuality and development can be depicted sufficiently quickly by an AI 
must, at least, be doubted. This is because it always requires sufficient reflec- 
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tion and a discourse on ethical ideas. Society cannot pass on the responsibility 
for this discourse to an AI, but must take it on itself as an ongoing task. This 
addresses part of the question of what constitutes ethics. Ethical conflicts can 
arise from the use of an algorithm, as in the inevitable collision in autonomous 
driving, because a situation is anticipated and the outcome is already deter- 
mined. These considerations can be transferred to CDSS depending on how 
much the system displaces humans from the decision-making process. This 
suppression must find its limits when individual value concepts, and thus eth- 
ical questions, affect the person in terms of their own value system and ethical 
ideas. The ethical conflict is a personal one that can neither be left to an AI nor 
for which a proxy can absolve itself of responsibility (Henking, 2023; Sparrow 
2019). He or she may even experience a hypothetical AI decision as powerless- 
ness vis-a-vis the system. 


Vl 


Before speaking of moral, ethical algorithms (in clinical use), we should reflect 
on what kind of ethics we are talking about. Is it the use of algorithms/AI where 
ethical problems can be anticipated? Should algorithms/AI be used to solve 
ethical problems? Should the algorithm itself act morally? Especially when 
answering the last question, it is necessary to think more deeply about what 
moral decision-making means and what competences, including the struggle 
for right and wrong, this requires. The evaluation of right and wrong cannot 
be left to an AI — it is the responsibility of humans and should remain so in the 
future. Those who call an AI ethical should always declare their understanding 
of ethics and morality. 
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Al-assisted reflection in child welfare 


Maximilian Kraus, Jennifer Burghardt, Christopher Koska 


Introduction 


Recognizing children’s rights and the state’s responsibility to ensure and 
promote these rights plays a crucial role in ensuring children’s well-being. 
The most important international human rights instrument for children was 
created with the UN Convention on the Rights of the Child (United Nations 
1989). In countries in which a state responsibility for the protection of children 
is anchored, different national approaches have been developed to carry out 
this task. This assignment is often taken on by social workers. Social work is 
a practice-based profession and an academic discipline which promotes the 
empowerment and liberation of people based on the principles of social justice 
and human rights (IFWS 2014). With regard to risk-oriented approaches to so- 
cial work, the common challenge lies primarily in the diagnosis and prognosis 
of child welfare hazards (Schrédter 2020). A perfect, faultless decision hardly 
seems possible. It would require complete information, sufficient time and 
unlimited cognitive abilities. We are also aware of the distorting influences 
on human judgement. While the best interests of the child are obviously the 
guiding principle for professionals, stereotyping, bias and personal experi- 
ences of decision-makers can influence their judgment (Gutwald et al. 2021). 
Considering this, there has been a growing interest in leveraging the potential 
of Artificial Intelligence (AI) to enhance the decision-making process and 
promote better outcomes for children and families. 

The primary purpose of this article is to explore the role of Al-based re- 
flection in child welfare cases. Reflection in this context refers to the compre- 
hensive analysis and circumstances as well as potential outcomes associated 
with child welfare cases. By employing Al as a reflective tool, social workers 
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and decision-makers can augment their judgment, enhance accuracy, and gain 
deeper insights into the dynamics of each case. 

The article aims to shed light on the potential benefits and challenges of 
integrating Al into child welfare practices, with a focus on how Al-based re- 
flection can positively impact the field. It will examine AI applications in data 
collection, analysis, and decision-making, while emphasizing the importance 
of transparency and accountability in this domain. Additionally, statements in 
this article will be underpinned by the findings of the KAIMo project. 

The article will argue that it is essential to recognize that while AI has the 
potential to offer valuable support in child welfare cases, it is not a substitute 
for human involvement and judgment. Therefore, the scope of this article in- 
cludes an exploration of how AI can complement and enhance existing child 
welfare practices while recognizing the unique qualities that social workers 
bring to their roles. The vision is a harmonious interplay between human ex- 
pertise and Al-generated insights, which together can provide a more robust, 
comprehensive framework for safeguarding children and families. 

Furthermore, this article goes into specific ethical concerns related to the 
deployment of Al in sensitive contexts such as child welfare. It emphasizes the 
multifaceted nature of bias in AI systems, highlighting the necessity to exam- 
ine and address biases at various levels - from information acquisition and 
data collection to the interpretation of results. AI not only has the potential to 
enhance efficiency and accuracy but also enables the exposure of existing prej- 
udices. 

The limitations of Al-based reflection in child welfare will also be dis- 
cussed, including challenges related to data availability, data security, po- 
tential resistance to technological adoption, and the need for continuous 
monitoring and improvements of Al algorithms. 

In summary, this article aims to provide an application-oriented guide- 
line to AI-based reflection in child welfare cases. By highlighting the potential 
benefits, ethical considerations, and challenges, this research seeks to foster 
informed discussions and responsible implementations of AI technologies in 
the child welfare domain. As Al continues to advance, understanding its role in 
supporting child welfare endeavors becomes increasingly crucial in the pursuit 
of a safer, more nurturing environment for children and families in need. 
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Understanding Child Welfare Cases 
Definition of Child Welfare in Germany 


In Germany, the definition of child endangerment, as specified in the case law 
of the Federal Court of Justice, forms the basis of state action in child protec- 
tion. Accordingly, the well-being of the child is endangered »ifa current danger 
is identified that is of such magnitude that, as things develop, there is a rea- 
sonable likelihood of significant damage to the child’s mental or physical well- 
being« (BGH 2016). 

However, determining that a child is endangered does not automatically 
legitimize state measures to protect children. In Germany, the care and up- 
bringing of children is primarily the natural right of parents and their primary 
duty (Art 6 (2) GG). It is therefore initially the task of the parents to maintain 
or restore the protection of the child. The basis for state action and thus inter- 
vention in the rights of parents is only given if a child’s well-being is found to 
be endangered and the parents are unwilling or unable to avert these dangers 
themselves. 


Importance of Accurate Reflection 


Reflective practice is a fundamental aspect of effective social work and child 
welfare. It involves the critical examination of one’s actions, decisions, and as- 
sumptions in the context of the cases being handled. In particular, the require- 
ment for forecasting future developments and the long-term effects of deci- 
sions represents a major challenge in the decision-making process of profes- 
sionals. This is further intensified by aspects such as time pressure and pres- 
sure to act, lack of (human) resources, lack of information and the personal re- 
sponsibility of professionals for the consequences of the decision. These condi- 
tions further complicate the already complex task of decision-making (Kinder- 
schutz-Zentrum Berlin, 2009). 

Therefore, in addition to a precise diagnosis and risk assessment, collegial 
case counselling and self-reflection are also required before a decision is made. 
While collegial case counselling serves to systematically analyze the situation 
and develop options for action in a goal-oriented manner, self-reflection fo- 
cuses on analyzing one’s own attitude and emotions, e.g. towards the parents 
and the child. This allows professionals to gain a deeper insight into the com- 
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plexity of the situation in question and recognize possible personal biases or 
blind spots that may influence their judgement. 


Procedures in Risk Assessments 


Various methods and instruments are available to support the decision- 
making process of the professionals. The risk assessment tools help with the 
systematic collection and assessment of relevant information. They differ 
primarily in how the information is evaluated (Schrödter 2020). The different 
instruments can be classified into two basic categories. On the one hand there 
are statistical forecasting methods that are based on empirical knowledge of 
certain characteristics and behaviors that apply specifically to the target group 
of children and young people at risk. To ensure easy manageability, these 
are mostly used in the sense of checklists with fixed weightings of individual 
factors. On the other hand, there are interpretative, hermeneutic forecasting 
methods in which the domain knowledge of the professionals plays a major 
role. The evaluation of information usually takes place in the discourse of 
several actors (Lehmann 2024). 

Regardless of the debate about AI, the statistical forecasting methods in 
particular are critically discussed in the technical discourse. Critics ofthese in- 
struments argue, among other things, that (group) statistical predictions can- 
not be applied to individual cases and that categorizing facts does not serve 
the actual »understanding of the case«. »In this sense, professional action is 
not characterized by technology orientation and dogmatic adherence to rules, 
but by an understanding ofthe case for which scientific knowledge is only one 
necessary element. This must be supplemented by empirical knowledge and 
hermeneutic sensitivity to the case« (Ferchhoff and Kurz 1998, p. 23). 

Ihe Federal Association of Child Protection Centers e.V. (Bundesarbeits- 
gemeinschaft der Kinderschutz-Zentren e.V.) also criticizes the use of risk as- 
sessment forms. »The use of the questionnaires represents a quality risk in the 
risk assessment and encourages professional errors«, for example if the design 
of the questionnaires »a) suggests objectivity and certainty, b) leads to a bind- 
ing result on its own (points system, traffic light system) and thus leads to the 
questionnaire and no longer the person making the decision (in the extreme in 
the sense of a PC software-based evaluation)« (Die Kinderschutz-Zentren 2011, 
p. 3). 

Advocates of statistical prediction methods, on the other hand, emphasize 
the transparent and verifiable weighting and the influence of certain charac- 
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teristics on the result of the risk predictions and refer to the numerous indi- 
vidual and meta-studies that prove a significantly higher prediction quality of 
statistical methods compared to, for example, hermeneutic or clinical methods 
(Johnson et al. 2015, van der Put et al. 2017, Baird/Wagner 2000, Sgbjerg et al. 
2021). Particularly with regard to the assessment of child endangerment, it is 
argued that »a risk assessment, as envisaged by the legislator in child protec- 
tion, cannot be carried out as a purely interpretative judgement; it is ultimately 
a classification process« (p. 9). The use of statistical instruments is therefore 
»helpful, because they can be used to make accurate predictions and more ap- 
propriate group categorizations — both occurances that professionals can only 
do inadequately on the basis of individual case-related interpretative proce- 
dures. Classification is therefore not only not wrong, but first and foremost 
necessary and common. It is most accurately possible through statistical pro- 
cedures.« (p. 19ff).Given the ongoing development of AI, it is foreseeable that 
statistical methods will become established (Gutwald et al. 2021, Burghardt 
and Lehmann 2023). »It will probably be undisputed in the future that com- 
puter-aided forecasts are more accurate than forecasts generated by specialists 
without the support of computers. In the future, it will no longer be a question 
of the effectiveness of statistical forecasting methods, nor will it be a question 
of whether social work using statistical methods should allow the practice to 
take hold at all.« (Schrédter 2020, p. 255ff). In the following chapters, we will 
critically examine the integration of Al in child welfare risk assessments, high- 
lighting its potential to enhance decision-making while acknowledging the vi- 
tal role of human expertise. 


Artificial Intelligence in Social Services 
Overview 


Artificial Intelligence refers to the simulation of specific aspects of human in- 
telligence in machines that are programmed to process and analyze data and 
make decisions based on that analysis. Though these machines >learn from 
patterns and experiences in data, it is important to distinguish that they do so 
without the conscious or subjective feelings humans tend to have when learn- 
ing from experience. With advancements in machine learning, natural lan- 
guage processing, and data analytics, AI has gained significant traction in var- 
ious domains, including healthcare, finance, and customer service, where it 
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has demonstrated the ability to streamline processes, improve decision-mak- 
ing, and optimize resource allocation. In recent years, the potential of AI to en- 
hance social services has also been explored more thoroughly, with a growing 
interest in leveraging AI technologies to address the complexities of child wel- 
fare cases as well as predictive policing in law enforcement (Mugari & Obioha 
2021). 

Inthe context of social services, Al can be used to support decision-making 
of social workers and other professionals involved in child welfare. AI technolo- 
gies, such as machine learning algorithms and natural language processing, 
enable systems to analyze vast amounts of data quickly, detect patterns, and 
generate insights that can inform decision-making of social workers. 


Applications 


AI can potentially be applied at various stages of the child welfare process to 
support social workers and enhance the overall efficacy of interventions. Some 
of the key applications of Al in child welfare include: 


Data Collection and Analysis 

AI can streamline the data collection process by automating the extraction of 
relevant information from various sources, including case files, reports, and 
historical data. Through advanced data analytics, AI can identify patterns and 
trends that may not be apparent to human analysts, thus facilitating a more 
comprehensive understanding of each case (Waldfogel 2000). 


Risk Assessment 

Al-powered risk assessment tools can assist social workers in evaluating the 
level of risk to a child’s safety and well-being within their family environment. 
By analyzing a broad range of risk factors and protective factors, these tools 
can help anticipate future developments, prioritize cases based on urgency and 
allocate resources more efficiently (Gillingham 2006). 


Decision-making Support 

AI can serve as a decision-making support system, offering factual insights 
and recommendations to social workers when considering different inter- 
vention strategies. This collaborative approach can augment decision-making 
practices based on standardized templates and enables social workers to 
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make more informed and data-driven decisions while maintaining their 
professional expertise and judgment (Heggdalsvik et al. 2018). 


Data collection and Analysis 


In child protection, it is crucial for professionals to get a direct impression of 
the child and its personal environment. All information relevant to the risk as- 
sessment should be collected as comprehensively as possible. Based on knowl- 
edge of specific risk and protective factors for the child’s well-being, system- 
atic observations are carried out and statements are obtained from various ac- 
tors (e.g. family members, educators/teachers) (Bathke et al. 2019). It must be 
considered that both personal observations and third-party statements are not 
only influenced by the subjectivity of the observers but are also shaped through 
interpretative skills, enabling the integration of collected experiences into a 
meaningful context, thus go beyond mere subjectivity. 

Understanding that data in child protection is an abstraction and can 
never fully capture the complexity of reality, it is essential that professionals 
are equipped not just with access to relevant information but also with the 
methodological and technical means for its appropriate analysis. This section 
highlights some technical and methodological possibilities for utilizing data 
within the confines of legal stipulations, while also incorporating preliminary 
ethical considerations in data handling. 

Following the exploration of the technical and methodological possibili- 
ties (What can I do with data% as per the Data Literacy Charter, Schüller et 
al. 2021), AI technologies offer opportunities to streamline data collection pro- 
cesses and enhance the quality and comprehensiveness of information gath- 
ered. A key method of potential AI-based data collection in child welfare is Nat- 
ural Language Processing (NLP): 

NLP algorithms enable systems to analyze unstructured data, such as 
interview transcripts and case narratives, extracting essential details and 
identifying patterns in language that may indicate potential risks or concerns 
(Chowdhary 2020). The technology is capable of processing large data sets, 
providing relevant information to social workers in a time-efficient manner. 


Ethical Considerations in Data Handling 

Al-based data collection leads to a complex net of ethical considerations, 
which are closely linked to legal issues and are intertwined in current regula- 
tory efforts. As a result, many people find it difficult to distinguish genuine 
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ethical considerations from legal or technical issues (Filipovic and Koska 2019). 
In practice, this often leads to ethical considerations being reduced solely to 
data protection aspects (such as informed consent, purpose limitation, data 
minimization, transparency etc.) or to specific measures for organizational 
and technical assurance of information security (especially institutional 
responsibilities and competencies). 

The EU AI Act stands, after the EU GDPR, as another testament to the EU’s 
commitment to highlighting this linkage. As important and valuable as these 
efforts are, this approach risks that ethical deliberation only takes place in se- 
lected expert circles. 

Considering the risk classification of the Al Act, the topic of Al assistance to 
support reflection in child welfare cases, as discussed by Colloseus in this vol- 
ume, is to be classified as a high-risk application with regulatory requirements. 
Such a classification not only demands human oversight of the IT system by an 
expert who can press a stop button at any time, but also the involvement of all 
affected parties (Koska and Filipović). However, the ethical dimension of the 
requirement to involve those affected in the data collection and usage process 
goes far beyond the legal cornerstone of informed consent. From a philosophi- 
cal perspective, the central challenge is to implement the aspect of meaningful 
human controk not only for a High-Level Expert Group (HLEG) - as proposed 
inthe Al Act - but also for social work professionals as well as the affected fam- 
ilies and especially the affected children. After all, no one has such privileged 
access to their own wishes, goals and interests as the people concerned (Koska 
2023). 


Analyzing and Extracting Insights from Data 

Al-powered data analysis has the potential to transform the field of child wel- 
fare by enabling social workers to derive valuable insights from vast amounts 
of information quickly and efficiently. Several key techniques are employed for 
data analysis in this domain. 

One crucial technique is Pattern Recognition, where AI algorithms can 
identify patterns and correlations within the data that might not be imme- 
diately evident to human analysts. More advanced LLMs (Large Language 
Models) can analyze file cases, and automatically find hints for or against 
risk status of a child. Most crucially, they have shown emergent abilities in 
reasoning about whether certain hints contradict or support each other (Wei 
et al. 2022). This aids in identifying risk factors and protective factors associ- 
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ated with child welfare cases, allowing social workers to make more informed 
decisions. 

Although prone to bias, Sentiment Analysis is another valuable technique, 
using Natural Language Processing (NLP) to assess the sentiments and emo- 
tions expressed in written or verbal communications (Mao et al. 2023). This 
helps social workers better understand the emotions and perspectives of the 
children and families involved, enhancing their ability to offer appropriate 
support. 


Enhancing decision making 


AI systems driven by data are being utilized more frequently to enhance hu- 
man decision-making in intricate social situations, such as those found in so- 
cial work or the legal profession (Kawakami et al. 2022b). Al can support social 
workers to make informed decisions and tailor interventions to suitthe unique 
circumstances ofeach case, ultimately leading to better outcomes for vulnera- 
ble children (Lysaght et al. 2019). 

The dimensions of Al-assisted decision-making in child welfare encom- 
pass various critical aspects: 

Al-driven risk assessment tools have the potential to analyze a wide array of 
risk and protective factors associated with a child’s situation, providing social 
workers with a comprehensive evaluation of the level of risk to their safety and 
well-being (Kawakami et al. 2022a). For that, guidelines like the framework for 
algorithmic decision-making adapted for the public sector (ADMAPS) can help 
in the design of high-stakes algorithmic decision-making tools in the child- 
welfare system (Saxena et al. 2021). 

Additionally, studies in the field of healthcare have shown that Al’s predic- 
tive modeling can anticipate potential outcomes that may arise from a given set 
of risk factors (Axelrod and Vogel 2003). Mapping these approaches to risk fac- 
tors in a child’s life can help enabling social workers to implement timely and 
preventive interventions. Early identification of concerns can significantly re- 
duce the likelihood of more severe issues developing later on, offering a proac- 
tive approach to child welfare. 

In conclusion, Al-generated insights can complement social workers’ 
expertise by providing data-driven information that informs their decisions. 
This collaborative approach empowers social workers to make well-informed 
choices while preserving their professional judgment and deep understanding 
of individual circumstances. 
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Addressing Bias and Fairness Concerns 


Automated decision-making systems (ADM) are often associated with greater 
objectivity and are therefore - at least in principle - considered inherently 
fairer than human decision-makers (Hauer 2023). In this context, fairness is 
typically reduced to the concept of non-discrimination. The primary goal of 
this approach is to identify biased data sets and avoid distortions in the algo- 
rithms used. Various strategies are available for this purpose, such as the use 
of diverse and representative data, methods for bias detection and correction, 
Explainable AI, and human oversight. 

In our research project on the development of an AI-based assistance sys- 
tem for the assessment of child welfare risks, we found that bias can occur at 
several points in the assessment, planning and controlling process. 

Bias can already occur in individuals who report a suspected child welfare 
risk to the Youth Welfare Office. These individuals may, for example, keep cer- 
tain families or groups under disproportionate scrutiny due to prejudice. An- 
other point at which bias can occur is the documentation of case files by social 
work professionals. These professionals could inadvertently incorporate their 
own prejudices into the case files, for instance, by highlighting certain infor- 
mation or omitting other. Bias can also play a role in the process of colleague 
case consultations. Social work professionals may, for example, prefer or reject 
specific strategies based on prejudice. 

Building on the processual view of judgment formation, specific forms of 
bias can be addressed at particular points in time. In the context ofthe KAIMo 
project, nearly 200 potential cognitive biases were screened and assigned to 
various phases of the decision-making process.’ With the aim of creating an 
additional level of reflection for social work professionals, a context-sensitive 
selection of biases was subsequently displayed to the users for the evaluation 
of the prototype. 


1 The interactive graphic from the Institute for Media and Communication Management 
at the University of St. Gallen, available online at https://bias-map-vl.web.app, pro- 
vides a good overview and is useful for an introduction tot he topic. 
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KAIMo: Overview and Methodology 
Project goals and assumptions 


The research project KAIMo examines whether and to what extent specific ele- 
ments of the ethical assessment and decision-making process that guides the 
actions of youth welfare offices can be encapsulated and translated into algo- 
rithms, and whether digital tools may strengthen institutional actions. Partic- 
ularly due to the complexity of the situation, the legal mandate and the scope 
of the decisions, the question arises as to whether digital systems can help to 
make institutional decisions more transparent and well-founded. The research 
project thus opens a fundamental reflection on the field of tension between so- 
cial work, ethics and computer science. 

The basic assumption of the project is that digital systems can relieve and 
support the daily work of social workers. Through specific forms of analysis 
and visual presentation of case data, a faster, more transparent, and more ef- 
ficient case processing becomes possible. 

Initially, it was hypothesized that algorithmic decision support could in- 
troduce an objective, data-based dimension to the decision-making processes 
concerning a child’s well-being. However, in the course of the project it has be- 
come evident that achieving true objectivity is unfeasible due to the inherent 
subjectivity of the data involved. Considering this, the project’s objective has 
evolved to utilize algorithmic support primarily as a means to reveal blind spots 
and resolve inconsistencies among the various contributors within the avail- 
able data, thereby enriching the decision-making process with more compre- 
hensive and subtle insights. 


The Three-Agent Approach 


Following this guideline, new technologies should not simply be imposed ona 
social practice, as this can lead to various risks of rejection or improper use. 
The KAIMo project worked out an approach to AI integration involving 
three components (agents) that were designed to ensure a smooth integration 
in existing processes and established guidelines present in social services. 
The three agents work together on different levels to provide their respec- 
tive expertise to the human caseworkers for their case evaluation. They aim 
to specifically support social work professionals in information gathering 
(KAIMo Assessment-Bot), decision-making (KAIMo Planning-Bot), and mon- 
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itoring the implemented measures (KAIMo Controlling-Bot). Assessment, 
Planning and Controlling are key sub-processes in child welfare services (Figure 


1). 


Figure 1: Child welfare process 
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In the first step, existing case data (call logs, notes from professionals, records 
of home visits) are aggregated and semantically analyzed. The result of this 
phase is a classified list of case features that provide professional indications 
for or against the presence of child endangerment. 

Building on this classification, the input data is then visualized in a knowl- 
edge graph. The structured visual representation of the case characteristics is 
intended to support professionals in the case analysis and provide case-spe- 
cific expertise. For example, blind spots can be identified in this phase through 
a completeness check (comparison with the feature set in similar scenarios), or 
indications of possible subjective biases of the actors involved can be revealed. 

Additionally, context-sensitive reflection questions are asked, derived 
from the current status and the specific work step of the professionals. These 
questions are inspired by the idea of the Socratic method, a form of dialogic 
practice often referred to as »maieutics< or the »art of midwifery<, which aims 
to stimulate critical thinking and illuminate ideas through conversational 
questioning. For example, the system could ask a question such as »Are there 
certain assumptions about the family or environment that might be influ- 
encing your assessment?« Another question could be »What information is 
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still missing, and how might these missing pieces affect the overall picture?« 
to point out possible blind spots in the information situation. In this way, 
the system supports decision-making by guiding professionals to look crit- 
ically at their own thought processes rather than providing direct decision 
recommendations. 

Ethical decision-making processes cannot be reduced to merely rational 
deliberations. Central to a moral consciousness are also abilities such as em- 
pathy, intuition, and a form of judgment that presupposes embodiment and 
the ability to choose for or against the good (Koch 2019; Fuchs 2020; Koska 
2023). Since algorithms can at best mechanically replicate such characteristics, 
it’s often misleading to consider them as actors in the context of moral deci- 
sions. This is because, given the current state of technology, machines cannot 
have their own moral values or intentions, as they are incapable of establishing 
a normative-desiring relationship to a moral decision. Therefore, algorithms 
should aim to improve human decision-making rather than to replace it and to 
ensure transparency and comprehensibility of algorithmic decisions. This in- 
cludes implementing mechanisms to review and adjust algorithms to ensure 
they adhere to ethical standards and are continuously improved. 


Human - Al collaboration 


The collaboration of the three agents aims to create a balanced approach to de- 
cision-making, taking into account both the efficiency of the algorithms and 
the ethical integrity of the decisions. However, the human component in this 
system remains crucial. One central pillar and the main guideline of the KAIMo 
project is an approach to Al integration that is defined by a supportive role. 
Predictive analytics models are exclusively used to question and improve the 
current information status (assessment phase), the process of judgment (plan- 
ning phase), and the effectiveness of measures (controlling phase). The focus 
is particularly on making the normative criteria guiding the actions of youth 
welfare offices visible. In this context, algorithms can serve as assistance to 
support human decision-makers in ethically complex situations. For instance, 
they can identify patterns in large data sets that are difficult for humans to 
grasp, providing valuable information for decision-making. It is important to 
understand the role of algorithms as supporting and complementing human 
expertise, rather than replacing it. 

Central to the approach followed in the KAIMo project is the belief that both 
professionals and algorithms bring distinct strengths. When synergized, they 
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can offer an unparalleled approach to decision-making, tailored to the unique 
challenges of child welfare. The KAIMo system, with its Knowledge Graph visu- 
alization and Socratic model-inspired reflection questions, acts as a support- 
ing arm to social workers, allowing them to make decisions with a broader, 
data-informed perspective. 


Challenges and mitigation strategies 


While applications of AI technologies in social services are manifold, as out- 
lined in the previous chapters, it is important to assess benefits and risks of AI 
adoption in order to evaluate ifand how an introduction of this technology can 
influence everyday work of social workers. 

Previous research in other fields such as agriculture and virology has 
shown its capacity to provide enhanced data insights (Rawson et al. 2019; Gil et 
al. 2021). By leveraging AI, child welfare agencies could be enabled to conduct 
more thorough analyses of data, unveiling valuable insights and trends that 
might be difficult to identify through traditional approaches (Alufaisan et al. 
2021). 

On the other hand, it’s crucial to recognize that AI models can inadvertently 
inherit biases from the data they are trained on. Addressing bias in computer 
systems involves three categories, as identified by Friedman and Nissenbaum 
(1996, pp. 333-336): pre-existing bias rooted in societal structures, technical 
bias arising from system design, and emergent bias that evolves during real- 
world use. Al-assisted reflection on bias, as implemented within the KAIMo 
prototype, can help to reveal pre-existing biases. However, it’s important to 
recognize that the introduction of Al introduces a heightened complexity, par- 
ticularly on the technical and emergent levels, which may risk displacing or 
reinforcing bias, making bias mitigation a multifaceted challenge. 

Additionally, the use of AI involves the collection and analysis of sensitive 
information, raising valid privacy concerns. It is imperative to implement data 
protection measures to safeguard the confidentiality and security of this infor- 
mation. Ensuring that individuals’ privacy rights are respected and upheld is 
challenging and a paramount ethical consideration (Oseni et al., 2021). 

Furthermore, the integration of AI in child welfare should not be seen as 
a replacement for human expertise. Instead, it should be viewed as a tool to 
augment and enhance the capabilities of human professionals. Collaboration 
between AI systems and human experts is essential for ensuring the best out- 
comes for children and families involved in the system (Wang et al., 2020). 
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In this chapter, we explore the key challenges associated with AI adoption 
in child welfare as they were recognized as part of the KAIMo project. 


Establishing Accountability Mechanisms 

Accountability is crucial in child welfare cases as decisions made can have long- 
lasting effects on the well-being of children and families. Additionally, depend- 
ing on local law, social workers are oftentimes held accountable as private per- 
sons for their decisions and the results thereof (Döring et al. 2023). To establish 
accountability in Al-driven child welfare systems, it is essential to define clear 
roles and responsibilities for all stakeholders involved. The KAIMo project im- 
plements a multi-agent solution, which involves human social workers as well 
as Al algorithms. 

Additionally, mechanisms for feedback and evaluation should be put 
in place. Social workers should be encouraged to provide feedback on the 
Al’s performance, and there should be avenues for addressing concerns and 
correcting errors that may arise during the decision-making process. These 
accountability mechanisms are vital in ensuring that AI is viewed as a tool 
to support social workers rather than replace them, maintaining a human- 
centric approach to child welfare. 


Legal and Ethical Implications 

The integration of Al in child welfare raises crucial legal and ethical consider- 
ations that demand careful attention to safeguard the rights and well-being of 
children and families involved. 

A child-centric approach is imperative, with Al-driven decision-making 
prioritizing the safety, well-being, and development of children in all recom- 
mendations. Nonetheless, human oversight must be maintained, empowering 
social workers to retain control over Al-assisted decisions and prevent undue 
reliance on AI recommendations without critical human judgment, as outline 
by KAIMo's supportive Al approach. 

Introducing AI within the realm of child welfare reveals pivotal legal and 
ethical dimensions that warrant meticulous scrutiny to champion the rights 
and welfare of both children and their families. At the epicenter of these con- 
siderations is the tension between social work and ethics. 

Establishing clear lines of accountability and liability is therefore essential, 
enabling determination of responsibility in case of errors or adverse outcomes 
resulting from Al-driven decisions. Professionals therefore need the necessary 
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knowledge of the capabilities and limitations of AI models and the ability to 
ensure ethical and responsible use of this technology. 

One of the foremost concerns in Al-driven child welfare is the security and 
privacy of sensitive data. To support privacy of sensitive data, AI systems ap- 
plied in child welfare scenarios should work in a closed system, native to the 
child welfare institution that applies the AI solution. However, for NLP and 
machine learning mechanism to work, it is mandatory to grant these processes 
access to actual case data. After all, the AI should support social workers by giv- 
ing insightful information and coherences about individual cases. 

It was outside the scope of KAIMo to work out detailed guidelines for data 
handling in child welfare AI applications. These questions deserve dedicated 
research efforts and should involve legislative and political drivers. 


Integration with Existing Systems 

Integrating AI systems into the existing child welfare infrastructure can be a 
complex task. Many agencies already rely on legacy systems, and introducing 
AI solutions may require substantial changes to the workflow and processes. 
To address this challenge, the KAIMo project proposes a phased approach to 
integration. 

Initially, AI systems should be introduced in a supplementary role, provid- 
ing insights and recommendations to social workers without directly replacing 
any existing processes. This allows for gradual familiarization and adjustment 
to the new technology. As social workers become more comfortable with the 
Al’s assistance, further integration steps could be taken, streamlining the col- 
laboration between human and AI agents in adherence to the supportive AI 
approach. 


Overcoming Resistance to Al Adoption 

Resistance to AI adoption is not uncommon, especially in fields where human 
decision-making has been the norm for a long time, such as child welfare. End 
users of AI systems may fear that AI cannot adequately capture and account 
for the complexity of family systems and life-world influences, disregard pro- 
fessionals’ tacit experiential knowledge, or undermine their autonomy in mak- 
ing important decisions. Furthermore, involving social workers in the design 
and development of the AI system fosters a sense of ownership and trust in the 
technology. Their feedback is continuously collected and integrated into the 
ATs improvement processes, ensuring that the system is tailored to meet their 
specific needs and concerns. 


Maximilian Kraus, Jennifer Burghardt, Christopher Koska: Al and child welfare 


It is also essential to communicate the ethical principles guiding the AI sys- 
tems development and use to the public. Transparency about how AI is em- 
ployed in child welfare cases, its limitations, and the steps taken to address 
potential biases fosters trust and understanding from all stakeholders. 

By addressing these challenges and adopting appropriate mitigation 
strategies, the integration of AI in child welfare cases can be done respon- 
sibly and effectively. The KAIMo project serves as a model for how AI can be 
harnessed to support social workers and improve outcomes for vulnerable 
children and families while respecting privacy, adhering to ethical guidelines, 
and maintaining a human-centric approach. As AI technology continues to 
advance, it is crucial to remain proactive in addressing challenges and ensur- 
ing that AI remains a powerful tool in the hands of caring and knowledgeable 
professionals. 


In summary, successfully integrating Al into the child welfare system requires 
direct actions to ensure its ethical application. This includes employing fair- 
ness metrics to evaluate and adjust algorithms, implementing robust bias 
detection and mitigation strategies, and enforcing stringent data protection 
measures. Additionally, fostering a collaborative interplay that combines hu- 
man oversight with Al’s analytical capabilities is the most promising approach 
to enhance decision-making processes. By focusing on these specific and 
actionable steps, a framework can be created that results in a responsible and 
beneficial use of AI in this sensitive domain. 
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Efficiently address risks, such as allocating welfare delivery resources to those 
in need, requires accurate risk assessments and predictions in the field of so- 
cial work. (cf. Schrödter, Bastian, and Taylor 2018) Through various factors, 
such as Al’s ability to meet these challenges accurately (risk assessments and 
predictions) but also through an increasing shortage of staff in social work, 
there is optimism, that AI can improve and facilitate processes in this field. 

The aim of this paper is to bring a critical position into the debate about the 
use of Al in child welfare. However, the focus should not be on a false faith in 
technology. (cf. Klöcker 2021) The human judgement is not unchallenged, so we 
are not arguing here that decisions should exclusively be made by humans. (cf. 
Schwabe 2022) For example, a study supported by the Federal Anti-Discrimi- 
nation Agency has stressed, with regard to learning algorithms in particular, 
that in many cases human decisions can be the sources of discrimination risks. 
(cf. Orwat 2019) 

As in any ethical judgment, the status quo analysis must first be presented. 
We will do this based on an algorithm in New Zealand and the situation in Ger- 
many (chapter 2). In this paper, we will then identify the thresholds that must 
be considered when using AI in any way in this field. In our opinion, the as- 
pects of social work and ethics should not be separated, and the stakeholder’s 
perspective is necessary. That is why an Ethics of Vulnerability forms the basis 
in chapter 3. An Ethics of Vulnerability has a social ethical aspect (the commu- 
nity exacerbating vulnerability or changing structures to reduce vulnerability) 
in addition to the individual ethical aspect (the individual as vulnerable). In as- 
sessing the best interests of the child, all parties involved are vulnerable, and 
thus, we present several precautionary reasons in chapter 4 that should be con- 
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sidered. Finally, we argue that our innovative approach, which combines the 
Ethics of Vulnerability with the Ethics of AI, is the best way to meet the needs 
and demands in child welfare. 


1. Status Quo Analysis 


To conduct an ethical assessment, it is necessary to begin with an analysis of 
the status quo. For this, we will first focus on the so-called Vulnerable Children 
PRM in New Zealand. 

The philosopher Tim Dare reports: 


»The Vulnerable Children PRM [...] was developed and validated using an 
anonymized dataset linking administrative records from New Zealand’s wel- 
fare benefit and Child, Youth and Family Services system for children who 
were born between January 2003 and June 2006 and had a benefit spell be- 
fore the age of two: a sample of 57,986 children comprising about 33 per cent 
of all children born in New Zealand during that period. The PRM algorithm 
was developed by identifying potential variables in cases of substantiated 
maltreatment in 70 per cent of the sample. 132 variables — including demo- 
graphic and historical features of a child, their family, household and com- 
munity — were found to make a statistically significant contribution to the 
model and were therefore retained in a >core algorithm: which was tested 
on the remaining 30 per cent validation sample. The algorithm generated a 
risk decile score at the start of each new benefit spell for each child in the 
sample with 10 indicating a child as being within the top 10 per cent of risk, 
down to 1 as being in the bottom 10 per cent.« (Dare 2015, 65) 


Concerning children with risk scores of 9 and 10 suggested an intervention. 
That means intensive intervention concerning 5 per cent of the total popula- 
tion. The PRM eventually was not used because of serious concerns, which are 
explained below. 

According to Philip Gillingham, an Associate Professor, ARC Future Fellow 
and Associate Investigator at ARC Centre of Excellence in Automated Decision- 
Making and Society at University of Queensland, the Vulnerable Children PRM 
in New Zealand has serious flaws. Gillingham notes that the algorithm used 
by the system associated child abuse with the period of social assistance re- 
ceived, single parenthood, and previous contact with child protective services. 
(cf. Gillingham 2021) 
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Two of these are more than problematic in Gillingham's eyes: 


»First, these predictors occur in the average population and thus do not dis- 
tinguish the group of children who are at increased risk with respect to child 
maltreatment. Most single parents on welfare do not maltreat their chil- 
dren.« (Gillingham 2021, 32) 


Secondly, these predictors are indicators of poverty. Most of the poor parents 
do not maltreat their children. 


»This is not to deny that poverty may be associated with child maltreatment. 
What is problematic is the indispensability of these predictors in the case 
of the data used in the training of the algorithm (as mentioned above, but 
especially the data of welfare receipt) and its implementation (the screening 
of families entering the welfare system).« (Gillingham 2021, 32) 


Thirdly, the use of the indicator »previous contact with child protective ser- 
vices« causes different questions: Does this mean that the child protective ser- 
vice has not been effective? Are reports made to child protective services but 
not investigated further after initial screening included? In the case of the child 
that had not suffered abuse or was at risk of abuse: can the algorithm differen- 
tiate between these reports? 

In case of the New Zealand Report, Gillingham resumes, all contacts with 
child protective services are considered to be against the parents and increase 
the likelihood that they will be re-investigated. (cf. Gillingham 2021) 

To improve the accuracy of risk assessments and predictions, it is impor- 
tant to reduce the false-positive rate, which refers to the incorrect classification 
of families as high risk. One potential solution is to choose higher thresholds 
for intervention. Dare suggests among others: 


»Providing opportunity for experienced child protection professionals to ex- 
ercise judgement about appropriate responses to a family’s identification as 
at risk. Ensuring that such professionals understand the potential of the Vul- 
nerable Children PRM to miscategorise families. Ensuring that intervention 
triggered by identification as at risk is as non-intrusive as possible, consis- 
tent with the overall aims of reducing child maltreatment risk.« (Dare 2015, 
73) 


These are first ideas for precautionary thresholds. 


87 


88 


Künstliche Intelligenz und ethische Verantwortung 


In Germany, an understanding of social work in the field of child welfare can 

be increased by examining relevant laws. According to $ 8a SGB VIII, an as- 

sessment is legally required in cases where a child’s well-being is at risk: 
Protection mandate in the event of a risk to the well-being of a child:' 


»If the youth welfare office becomes aware of serious indications that the 
welfare of a child or adolescent is at risk, it shall assess the risk of danger 
in cooperation with several specialists. Insofar as the effective protection of 
this child or adolescent is not in question, the youth welfare office shall in- 
volve the legal guardians as well as the child or adolescent in the risk as- 
sessment. And, this is necessary according to professional judgment, to get 
a direct impression of the child and his or her personal environment. As well 
as to involve persons who have transmitted data to the youth welfare office 
in accordance with Section 4 (3) of the Act on Cooperation and Information 
in Child Protection in the risk assessment in an appropriate manner.« 


That means: in the German child protection, a »security/safety (as subjective 
feeling) orientation: dominates: in particular, events of present or past harm 
to the child’s well-being are to be assessed concerning socio-educational need 
for action.” (cf. Bastian, Freres, and Schrédter 2017) 

Professionalism is also a crucial aspect of the system, requiring the use of 
tacit knowledge gained through experience as a social worker. The ability to 
observe (odors for example) and exercise undirected attention is essential, and 
strong observational skills are necessary. The process is more geared towards 
creating an impression of a situation, leading to open dialogues with critical 
reconstructive potential, rather than a rigid subsumption logic. 

As such, the introduction of an algorithm into this field must be ap- 
proached with caution, especially in the field of child and family welfare. 

In ethical terms, you must admit in a first step that child welfare is less 
objective than expected (cf. Wiesemann 2016). It is crucial to acknowledge the 
complex nature of child welfare and the competing rights at play, including the 
parental right to upbringing, the child’s right to privacy, and the child’s right to 
protection (cf. Gutwald et al. 2021). In Germany, parents or guardians have the 
fundamental freedom and right to educate their children according to their 


1 Translation by Kerstin Schlögl-Flierl. 

2 However, if you have a further look on the algorithm in the US, especially the Allegheny 
one or the one in New Zealand: One dominant predictor is harm. So the risk score also 
are based on the harm orientation, but are more prognostic. 
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own ideas within the framework of a private sphere, without the state inter- 
vening. This is therefore a defensive right against the state. The state may only 
intervene in this sphere of freedom if a child’s physical, mental or psycholog- 
ical well-being is at risk and the parents are not (or no longer) willing or able 
to counteract this risk. From an ethical point of view, this raises the further 
question of what rights children themselves have under Article 16 of the UN 
Convention on the Rights of the Child to a private life in their family, and to 
what extent this right may conflict with their right to protection. Professionals 
in child protection must carefully consider these rights and the specific cir- 
cumstances of each case. 

The concrete situation is to be examined once again in detail. What are the 
circumstances in this decision-making? 


»Only rarely does an assessment of an acute danger to the life and limb of 
a child occur in child protection, and there is not always a consensus among 
those involved as to whether and in what form a child is being neglected or 
abused. Rather, child protection professionals have to deal with complex life 
situations of children and adolescents and their families and with multifac- 
torial causal and contextual conditions for child abuse and neglect, where 
clarity is often lacking and the scope for interpretation is large.« (cf. Gedik 
and Wolff 2021, 418) ? 


The intricacies of child welfare to grasp fully, it is crucial to acknowledge the 
competing rights at play, including the parental right to upbringing, the child’s 
right to privacy, and the child’s right to protection. However, it is not always 
clear if and in what form a child is being neglected or abused, and consensus 
may not always be reached among those involved. Therefore, we propose ad- 
dressing this situation with an Ethics of Vulnerability, which recognizes the 
complex and multifaceted nature of child welfare and the need to address the 
needs and demands of all parties involved. This approach emphasizes the im- 
portance of acknowledging and responding to the vulnerabilities of children 
and families in the child welfare system, as well as the vulnerabilities of the 
professionals involved in child protection work. By taking a holistic approach 
and acknowledging the various dimensions of vulnerability, we can better ad- 
dress the complexities of child welfare and work towards the best interests of 
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the child, his or her parents, and the family as a whole. (cf. Gedik and Wolff 
2021, 419) 


2. Ethics of Vulnerability 


Amore theological, but not exclusive (cf. Keul 2021, Quast-Neulinger 2018), ap- 
proach in this field could be to speak of an Ethics of Vulnerability. Vulnerability 
become negativ connoted by political talk in the context of the Corona pan- 
demic. (cf. Schmidhuber 2020) The most vulnerable groups ranked high on the 
vaccine prioritization list. Nevertheless, by what and in what ways does one 
belong to the vulnerable in the context of child welfare in social work? 

In the scientific discussion of vulnerability (cf. Mackenzie 2014) in various 
disciplines, vulnerability certainly been formatted as a risk, but at the same 
time, it can also be seen as a resource or an asset, as will be unfolded below. 
Fundamental are the following distinctions: every person is vulnerable (onto- 
logical vulnerability), some by the situation moreover (situational vulnerabil- 
ity, e.g. imagine a family with a small flat in the pandemic). To be distinguished 
from this is vulnerability generated by structure. This would be, for example, 
the nursing home residents, who suffered: not a little from the various regu- 
lations in the pandemic. 

Because all people are to be understood as fundamentally vulnerable, the 
risk is less in the center of thinking, or should be for ethics, but more also the 
positive direction of an understanding of the human being as a vulnerable be- 
ing. (cf. Haker 2021) The openness to others and to oneself this entails is not to 
be underestimated. An Ethics of Vulnerability has besides the individual-ethi- 
cal cut (the individual as the vulnerable) also a social-ethical (the community, 
which aggravates vulnerability or changes structures to reduce vulnerabilities) 
aspect. 

In the child welfare assessment, all stakeholders are vulnerable. First the 
child or children, then the family in its relationship, the social worker in his or 
her very difficult task, the state as protector/advocacy of family and children 
and concerning the use of AI. The designers and programmers who develop the 
AI that will be used. This certainly is not comprehensive. That is why different 
precautionary reasons should be concerned, which we will present in the next 
chapter. 
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3. Precautionary reasons 


An Ethics of Vulnerability implies that not only the children or families are vul- 
nerable but also the social worker. Schrödter, Bastian and Taylor prognoses: 


»In the future, it will no longer be a question of the effectiveness of statisti- 
cal forecasting methods, nor of whether social work should allow statistical 
methods to enter practice at all. In the long term, this process will probably 
be unstoppable. Therefore, it must increasingly be about the ethical ques- 
tions of what consequences these powerful procedures will have for social 
work practice and how the negative consequences can be legally and techni- 
cally tamed [...].« (Schrödter, Bastian, and Taylor 2020, 256)* 


In this part, no distinction is made between the different algorithms, and data 
protection is also excluded from the considerations, which, however, must 
be dealt with in general and also for this field. The following concerns relate 
mainly to the various vulnerabilities. 


3.1 Child/Family: Stigmatization of already vulnerable populations 


Stigmatization of already vulnerable groups is a pervasive issue in the use of 
AI. (cf. Schneider and Seelmeyer 2018, 24) However, in the field of child wel- 
fare, it means increasing pressure on perhaps already struggling families and 
households. 

Sometimes even the term itself can be misleading: »High risk. A better 
choice here would be to speak of a high priority for services for the struggling 
families. It should not happen that the consequence of using Al is a reduced 
readiness to engage with service providers and leading professionals to deal 
differently with stigmatized individuals. (cf. Dare 2015, 69) Such effects would 
be particularly problematic for child protection, as this would affect an already 
highly stigmatized group, who would then be even more subject to suspicion 
and control. 

Moreover, insofar as the goal of big data analytics is to identify at-risk pop- 
ulations, this promotes an individualistic conception of »risk« at the expense 
of more justice-oriented conceptions: (cf. Bastian et al. 2018) Racial disparity 
is an often mentioned danger in the use of AI. (cf. Dare and Gambrelli 2017, 
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5) Poor people, often intersectional discriminated against by the category of 
race, are also stigmatized. Thus, the individualistic concept of »risk« leads to a 
dangerous neo-liberal view those vulnerable populations are solely responsible 
for their situation and distracts from systemic and institutional problems that 
would be addressed by justice oriented approaches. 

Furthermore, the use of AI can result in the collection of information about 
family members beyond the child in question. This can also be grasped under 
the name »dataveillance«, so called social surveillance through digitalization. 
Thus, forecasting can more effectively organize the exclusion of those deemed 
dangerous, criminal, in need of help, or otherwise deviant, even though these 
populations constructed as such by surveillance technologies in the first place. 
(cf. Bastian et al. 2018) 


3.2 Social Worker: The challenged role 


Imagine the case, the social worker decides against the recommendation of the 
algorithm and then happens the case of child endangerment. »This example il- 
lustrates the new tension between human decision-making authority and >al- 
gorithmic authority: in the media public sphere.« (cf. Gapski 2020) One should 
add not only, but also in the media public. 

This concerns the understanding of professionalism. It is therefore unclear 
what value intuition has in the judgment and action processes of social work 
and what value feelings should have for professionalized action practice. (cf. 
Bastian 2018, 128f.) A brief look at the history of social work already shows 
that standardization by means of legal requirements has also found its way 
into this area. This is associated with an immediate safeguarding of decisions 
(cf. the risk assessment forms, Dare 2015). On the one hand, it may be argued 
that the problem of standardization could be an increasing decline in reflexive 
professionalism. In addition, a decoupling of decision and responsibility must 
be counteracted already without Artificial Intelligence. On the other hand, the 
potential can be seen that for social workers, ethically based digital tools for 
the assessment of child endangerment could lead to a significant relief, as it is 
formulated in the description of KAIMo. (cf. Homepage; cf. Bastian 2012) How- 
ever, this requires both »data literacy< to handle complex data sources and so- 
phisticated procedures for processing them, as well as consistent privacy pro- 
tection for the use of diverse data sources as new requirements for the profes- 
sionalism of specialists. (cf. Schneider and Seelmeyer 2018, 24) Furthermore, 
possible de-skilling must be actively counteracted. 
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These issues at hand are multifaceted, and it is crucial to identify which of 
the several problems can be addressed by the implementation of AI? In the field 
of child welfare, Gedik and Wolff have outlined the following complexities: 


»Such an investigation and understanding takes time, professional knowl- 
edge and skills. What is needed above all, however, are professional special- 
ists with an attitude of solidarity who are able to make contact with fami- 
lies, parents and children in need, to meet them courageously and to talk to 
them ina trusting and non-judgmental manner about sensitive questions of 
life and upbringing, about the relationships they have developed with each 
other, possibly about painful life stories or also about debts and other ma- 
terial and social burdens. The professionals must have methodical compe- 
tence to examine the conflict and problem situation with the families, to un- 
derstand it well and to bundle it in a multi-perspective way. And they must 
be linguistically capable of openly and comprehensibly presenting the nec- 
essary assistance to the parties involved from a professional perspective as 
well, to justify, explain and negotiate well with special attention to the child 
involved, his personality and health, his rights, needs, wishes and interests, 
but without neglecting his parents and the entire family.« (Gedik and Wolff 
2021, 420)° 


3.3 The profession: The challenged role of social work, in general 


In this section, we shift our focus from the specific field to a broader perspec- 
tive on social work. There is an ongoing debate in the field of social work re- 
garding mandates. In a classical approach, two mandates have been identi- 
fied: one of the client and one of the state. Unsurprisingly, there is potential 
for conflict here - and presumably, the state will view the use of AI differently 
than clients. However, there is also a third mandate that has emerged in re- 
cent times — the mandate of social work as a profession, in the words of Silvia 
Staub-Bernasconi: a mandate for human rights. (cf. Staub-Bernasconi 2019) 
There has been a historical shift in the way social work considers itself as a pro- 
fession. It once was seen as an act of mercy, then as a service, and now as a 
human rights profession. 

By understanding social work as a human rights profession, it becomes 
possible to incorporate the view of human rights: How are children’s rights and 
family law respected. One must distinguish between at least three levels. Social 
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work atthe micro level: in collaboration with the client; social work atthe meso 
level: in the affiliation with social institutions; and social work at the macro 
level: in the responsibility for the society. (cf. Leith 2021, 330ff.) 

On which level AI can be supporting? The idea also presupposes that the 
ethical decision can be transferred into algorithmic structures at all. This may 
be possible for strictly deontic or utilitarian ethics. In the eyes of Björn Görder, 
however, the ethics of social work in particular usually ties in with other ethical 
traditions (at least also) for good reasons. These include approaches based on 
virtue, situational and care ethics, which take into account attitudes, virtues, 
motives, relationship quality, feelings and also distress, or moral intuitions. 
Values such as classically spoken charity, empathy, loyalty, commitment cannot 
be translated into algorithms and presuppose knowledge of the world that is 
relevant to interpersonal encounters. (cf. Görder 2021) 

Besides these problems of what ethics theory is binding, questions of jus- 
tice also arise. These are the typical resource allocation issues (cf. Dare 2015, 
64) but can be reinforced by the use of AI. It begins by the payment of social 
workers: 


»It might be difficult, for instance, to maintain the important existing rela- 
tionships between families and the nurses and community health workers 
who deliver current universal services while changing their focus and inten- 
sity: it may matter that the existing services are relatively light-touch. Fur- 
ther, universal programmes are expensive, and they would be even more so 
if made more intensive.« (Dare 2015, 69) 


With the introduction of AI, it is important not to dismantle other social work 
services but to make them more targeted and effective. 


4. Relationship between Ethics of Vulnerability and Al Ethics 


A vulnerability ethics approach stresses the perspective of the needs and re- 
quirements of all involved stakeholders: the need of the child, the need of the 
family and the need of the social worker (and the Advocacy of the State); the 
social worker who wants to have more security/more »hedging for his or her 
decision; the need of the family: prevention, support and privacy and the need 
of the child: in general to have a good future. It is important to note that the 
algorithm is just one element in the field of decision-making in social work. 
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AI Ethics revolves around sociotechnical change and the impact on soci- 
ety and the lives of individuals. Because AI Ethics addresses both individual 
ethical and social ethical perspectives, it fits very well with the demonstrated 
discussion of the use of AI in child welfare. By combining AI Ethics and Ethics 
of Vulnerability, we will be able to show vulnerability of stakeholders and the 
impact of AI on the individual and systemic situation, which will allow us to 
address the needs and requirements of stakeholders in the best possible way. 

To this end, in this chapter we will first examine the Al ethical implications 
of using AI in child vulnerability, as demonstrated in Cheng’s et al. new em- 
pirical study (cf. Cheng et al. 2022), and then integrate it with our Vulnerabil- 
ity Ethics Approach. The aforementioned study analyzes the decision-making 
of child welfare call screening worker over a span of four years, in Allegheny 
County, Pennsylvania. The workers use the Al-based Allegheny Family Screen- 
ing Tool (AFST) to decide about which reports of child abuse or neglect (hence- 
forth referrals) to investigate. For example, the conduct interviews in which 
they ask the workers how they incorporate algorithmic predictions into their 
decision-making process. When people work with algorithms in a child wel- 
fare context as is known to have racial disparities, will they serve to mitigate or 
exacerbate disparities? The answer to this question can inform the responsible 
design and use of AI tools in the child welfare context, as well as other high- 
stakes social decision-making contexts. The study showed that, compared to 
the algorithm alone, workers reduced the disparity in screen-in rate between 
black and white children from 20 % to 9 %. Cheng et al. showed that workers 
achieved this by making holistic risk assessments and adjusting for the algo- 
rithms limitations. 

The authors call for the promotion of more collaborative decision-making. 
They argue that the fact that child welfare caseworkers often made decisions 
collaboratively led to, among other things, a reduction in individual bias. 
However, when working together formally, caseworkers would feel they had 
little influence - even when making screening recommendations. Thus, Cheng 
et al. advocate encouraging more regular conversations between caseworkers 
and supervisors about caseworker recommendations so that they are not over- 
looked. In this regard, they argue that the AFST interface could also provide 
opportunities to foster informal collaboration. For example, future versions 
of AFST or similar tools could include a feature that suggests clerks who have 
handled similar referrals in the past. This could allow workers to collaborate 
with the right person for each referral, which could be particularly helpful for 
very uncertain referrals. 


95 


96 


Künstliche Intelligenz und ethische Verantwortung 


According to the study, child welfare workers were generally aware oftheir 
own individual biases. Another way to curb this bias, according to the authors, 
could be to increase diversity among child welfare staff, particularly among su- 
pervisors who make the final decisions. 

In evaluating the study, we will draw closely on our findings about the 
Ethics of Vulnerability. We will first address the needs and demands of the 
social worker, then those of the family, and finally those of the children. 


Workers’ need for more security 


Regarding the needs of social workers to be more secure in their decision-mak- 
ing, Al could be used as a reflective tool. Here, the Al ethical aspects of explain- 
ability and transparency must be addressed primarily. It is crucial for social 
workers to understand the limitations of AI, such as potential biases and what 
the AI cannot know compared to them. Only with this understanding AI can 
be used as a decision support tool alongside with other social workers and su- 
pervisors to assist the individual social worker. 


Family's need for prevention, support, privacy 


In order to ensure that marginalized groups are not further disadvantaged by 
the use of AI, so that appropriate families can receive support, ethical con- 
siderations of anti-bias or rather bias awareness, as well as the avoidance of 
dataveillance, must be taken into account. We suggest that the terminology 
used should acknowledge that there is no completely bias-free AI, and there- 
fore »bias awareness« must be prioritized. If social workers are aware of the 
limitations of the AI tool, as mentioned in the previous point, bias awareness 
can be increased, and discrimination reduced. Additionally, as mentioned in 
section 3.1, we propose replacing »high risk« with »high priority« to avoid per- 
petuating biases. To protect the privacy of families and prevent dataveillance, 
a high level of data protection must be maintained. 

To address not only individual families but also systematic and institu- 
tional issues, AI could be utilized to analyze data for intersectionality. As our 
previous analysis of the status quo in chapter 1. has demonstrated, various pa- 
rameters appear to be interconnected, such as poverty and single parenthood. 
The question then arises: how can the social work system acknowledge and 
support this interconnectivity without perpetuating any biases or prejudices? 
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The needs of the children 


To address this need of the child is the most challenging and involves the most 
considerations. Depending on the child’s level of maturity, their decision about 
whether they want to stay with their family can not be taken into account. This 
decision relies heavily on the experience of the social workers: do they believe 
that the child is able to express their will accurately, or are they under pres- 
sure to stay in their current situation, and therefore not expressing their true 
desires? The recommendation of the AI must be understood in its entirety, in- 
cluding all its limitations, so that it can be incorporated into the decision-mak- 
ing process. Although AI can make good predictions, it cannot take individual 
cases into account and can thus exacerbate the child’s situation. 


Summary 


The Al is helpful because of velocity, more efficiency, and more precision. This 
is undeniable the balancing between different needs and interests in this field. 
(cf. Gapski 2020) The social worker can get helpful hints by the algorithm but 
his and her professionalism should not be touched and his and her >hedging« 
of decisions that are by no means easy. 

This paper critically examined the use of AI in child welfare. We argued 
that the social work and ethics aspects should not be separated, but rather con- 
sidered from the perspective of all stakeholders. The paper presented a status 
quo analysis based on an algorithm in New Zealand and the situation in Ger- 
many, and identified thresholds that needed to be considered when using AI 
in this field. The Ethics of Vulnerability was presented as a basis for weighing 
the best interests of the child, which included both social and individual ethi- 
cal aspects. In the next chapter, resulting precautionary grounds were identi- 
fied that should be taken into account. We highlighted that our innovative ap- 
proach of combining the Ethics of Vulnerability with the Ethics of AI was the 
best way to address the needs and demands in child welfare. We highlighted 
the potential benefits and ethical considerations associated with the use of Al 
in child welfare and protection. The needs and demands of social workers, fam- 
ilies and children were each addressed through an Ethics of Vulnerability, and 
the importance of simultaneously considering AI ethical issues such as trans- 
parency, bias awareness and data security was emphasised. In addition, it was 
suggested that AI could be used to examine systemic and institutional issues 
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by analysing data for intersectionality. While AI could increase efficiency, accu- 
racy and speed, these benefits needed to be balanced with the professionalism 
and decision-making skills of social workers. Ultimately, the use of Al in child 
welfare had to be done with caution, careful consideration and adherence to 
ethical principles. 
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Verantwortungsvolle Empfehlungssysteme fir die 
medizinische Diagnostik 


Daniel Schlör, Andreas Hotho 


1. Einleitung 


Die frühe Entwicklung und Einführung von Krankenhaus- und Gesundheits- 
informationssystemen hat die fortschreitende Digitalisierung von Prozessen 
in Krankenhäusern gefördert. Viele dieser Prozesse, die früher Schriftver- 
kehr und telefonische Absprachen erforderten, sind heute in IT-Lösungen 
integriert und erfordern die Interaktion von Arzt*innen und medizinischem 
Personal mit entsprechenden Schnittstellen und Tools. Diese Umstellung auf 
digitales Datenmanagement und Prozessunterstützung kommt der Versor- 
gung der Patient*innen zwar in vielerlei Hinsicht zugute, erfordert aber von 
den Arzt*innen eine genaue digitale Erfassung aller relevanten Informationen 
für Abrechnungs- und Dokumentationszwecke und damit oft eine Auswahl 
aus einer unüberschaubar großen Menge an Möglichkeiten. Das beansprucht 
viel Zeit, die sonst für die ärztliche Versorgung der Patient*innen aufgewen- 
det werden könnte. Die systematische Erfassung von Gesundheitsdaten über 
einen langen Zeitraum hinweg bietet jedoch Möglichkeiten, diesen Prozess 
zu verbessern und das medizinische Personal durch die Einführung von 
Empfehlungssystemen zu unterstützen. 

Betrachten wir zum Beispiel eine Ärztin in einem Krankenhaus, die eine 
Untersuchung bei einem Patienten durch eine andere Abteilung durchfüh- 
ren lassen möchte. Dazu muss sie eine entsprechende Anfrage stellen, die 
die Anamnese und die medizinische Fragestellung enthält, und die richtige 
Untersuchung auswählen. Diese Auswahl aus einer großen Menge von Un- 
tersuchungen kann durch ein Empfehlungssystem unterstützt werden, das 
entweder inhaltsbasiert arbeitet, oder aufähnlichen Fällen aus der Vergangen- 
heit basiert. Inhaltsbasierte Empfehlungen könnten in diesem Beispiel etwa 
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Anamnese, medizinische Fragestellung, mögliche medizinische Vorgeschich- 
te des Patienten sowie anderes medizinisches Wissen berücksichtigen, um 
eine möglichst passende Empfehlung für die Untersuchung auszusprechen. 
Für Empfehlungen anhand ähnlicher Fälle würden beispielsweise hinsichtlich 
der vorherigen Behandlungssequenz oder Patientenzustand ähnliche Fälle 
betrachtet werden und die in diesen Fällen durchgeführten Untersuchungen 
empfohlen werden. 

Beide Ansätze haben technische Vor- und Nachteile, die in Abschnitt 2.1 ge- 
nauer benannt werden, sind aber auch für unterschiedliche Anwendungszwe- 
cke verschieden gut geeignet. Betrachtet man beispielsweise speziell radio- 
logische Untersuchungen, was genau den oben genannten Fall zwischen an- 
fordernder und erfüllender Abteilung darstellt, zeigen sich große Unterschie- 
de, je nach anfordernder Stelle: Während in der Onkologie beispielsweise häu- 
fig ähnlich gelagerte Fälle betrachtet werden, die dementsprechend auch gut 
durch Empfehlungen basierend auf ähnlichen Fällen unterstützt werden kön- 
nen, finden sich in der Notaufnahme oder Unfallchirurgie sehr unterschied- 
lich gelagerte Fälle, die eine einzelne Betrachtung basierend auf der konkreten 
Anamnese erfordern, insbesondere auch, weil häufig zunächst keine Kranken- 
geschichte der Patient*in verfügbar ist. 

Mit diesen verschiedenen Perspektiven eröffnen sich aber auch unter- 
schiedliche ethische Fragen für den Einsatz von Empfehlungssystemen in 
diesem sensiblen medizinischen Kontext, die berücksichtigt werden müs- 
sen, um ein verantwortungsvolles Verhalten des Systems selbst sowie in 
der Interaktion mit dem medizinischen Personal sowie den Patient*innen 
zu gewährleisten. Diese Überlegungen betreffen beispielsweise das Kran- 
kenhauspersonal, etwa wenn es um deren Effizienz, mögliche Kosten- und 
Zeitersparnisse und den Konsequenzen für die Arbeitsplätze geht, aber auch 
die Patient*innen, die davon profitieren könnten. Fragestellungen hinsicht- 
lich der Datenqualität und möglichen beispielsweise diskriminierenden 
Verzerrungen, die ein solches System verstärken könnte, aber auch Überle- 
gungen, wer im Kontext eines solchen sozio-technologischen Systems welche 
Verantwortungen und damit Rechenschaftspflichten hat, sind hier relevant. 

Ausgehend von diesen Überlegungen werden in diesem Beitrag Kriteri- 
en für ein verantwortungsbewusstes Empfehlungssystem im medizinischen 
Kontext aus einer anwendungsorientierten Perspektive skizziert und mögli- 
che Designentscheidungen mit besonderem Fokus auf die bereits genannten 
Fragen sowie Sicherheit, Transparenz und Konformität hinsichtlich der an- 
zuwendenden Regularien betrachtet. Hierfür nehmen wir aus der informa- 
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tischen Perspektive den Standpunkt für ein konkretes Anwendungsszenario 
ein und werfen dafür relevante Fragestellungen auf, die von den technischen 
Aspekten losgelöst aus ethischer Sicht betrachtet werden können. 


2. Grundlagen 


In diesem Kapitel sollen zunächst die Grundlagen zu Empfehlungssystemen 
sowie die hier betrachtete Operationalisierung ethischer Aspekte vorgestellt 
werden. 


2.1 Empfehlungssysteme 


Empfehlungssysteme sind computergestützte Algorithmen und Systeme, 
die Anwender*innen auf Grundlage ihrer Vorlieben, Interessen oder ihrem 
bisherigen Verhalten Artikel oder andere Objekte vorschlagen (Bobadilla et 
al. 2013). Diese stellen im klassischen Sinne beispielsweise Produkte in On- 
line-Shops (Fischer, Zoller und Hotho 2021), Bücher (Mooney und Roy 2000), 
Musik (Song, Dixon und Pearce 2012) und Videos (Gomez-Uribe und Hunt 
2015), aber auch weniger typische Objekte, wie beispielsweise Schlagworte 
(Jaschke et al. 2007), Gegenstände in Computerspielen (Dallmann et al. 2021), 
medizinische Behandlungen (Sun et al. 2016) oder in unserem Beispiel me- 
dizinische Untersuchungen dar und sollen im Folgenden unter dem Begriff 
Artikel subsumiert werden. Empfehlungssysteme spielen eine entscheidende 
Rolle bei der Unterstützung der Anwender*innen z.B. bei der Navigation 
durch die großen Mengen an verfügbaren Informationen und verbessern so 
den Entscheidungs- oder Auswahlprozess (Zhang et al. 2019). 

Empfehlungssysteme nutzen dafür Algorithmen und Techniken, um 
Daten der Nutzenden zu analysieren und häufig personalisierte Empfeh- 
lungen zu generieren. Durch die Berücksichtigung von Benutzungsfeedback 
(Shi, Larson und Hanjalic 2014) oder vorheriger Interaktionen (Adomavicius 
und Tuzhilin 2005) zielen solche Systeme darauf ab, den Anwender”innen 
relevante und hilfreiche Vorschläge zu unterbreiten. Der Hauptzweck von 
Empfehlungssystemen besteht darin, bei der Entdeckung neuer Artikel und 
Ressourcen unter anderem bezüglich der persönlichen Präferenzen zu unter- 
stützen (Zhang et al. 2019), indem sie die sich teilweise entgegenstehenden 
Faktoren wie Genauigkeit, Neuartigkeit, Streuung und Stabilität der Empfeh- 
lungen balancieren (Bobadilla et al. 2013). 
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Hinsichtlich der verwendeten Methoden lassen sich Empfehlungssysteme 
in drei größere Kategorien einteilen: Systeme, die auf Collaborative Filtering 
(Adomavicius und Tuzhilin 2005) basieren, solche, die Content-based Filtering 
(Pazzani und Billsus 2007) nutzen, sowie Hybride Ansätze (Balabanovic und 
Shoham 1997). 


2.1.1 Collaborative Filtering 

Collaborative Filtering ist eine weit verbreitete Technik in Empfehlungssyste- 
men (Su und Khoshgoftaar 2009). Sie empfiehlt Artikel auf Grundlage der Vor- 
lieben ähnlicher Benutzer*innen. Durch die Analyse von Verhaltensmustern 
und Ähnlichkeiten in den Interaktionen zwischen Benutzer*innen und Arti- 
keln bzw. in den entsprechenden Bewertungen schlagen Collaborative Filte- 
ring Ansätze Artikel vor, die Benutzer*innen mit ähnlichen Vorlieben gefallen 
haben. Collaborative Filtering kann in zwei Hauptansätze unterteilt werden: 
nutzungsbezogenes und artikelbezogenes Collaborative Filtering (Aggarwal et 
al. 2016). 

Nutzungsbezogenes Collaborative Filtering vergleicht die Vorlieben einer 
Zielnutzer”in mit denen ähnlicher Nutzer*innen, um Empfehlungen auszu- 
sprechen. Bei artikelbasiertem Collaborative Filtering hingegen werden ähnli- 
che Artikel identifiziert und solche empfohlen, die denen ähneln, die der Ziel- 
benutzer”in gefallen haben bzw. mit denen die Person zuvor interagiert hat. 

Die Collaborative Filtering Ansätze haben sich zwar bei der Erstellung 
von personalisierten Empfehlungen als effektiv erwiesen, weisen aber auch 
Schwächen auf, wie zum Beispiel dem Kaltstartproblem (Schein et al. 2002), 
d.h. Schwierigkeiten bei der Empfehlung neuer oder inaktiver Benutzer”in- 
nen, und der Gefahr der Bildung von Filterblasen (Nguyen et al. 2014), d.h. 
Einschränkung der Empfehlungen auf eine begrenzte Auswahl. Auch sind 
für jede Nutzer*in in der Regel nur für wenige Artikel die Präferenzen be- 
kannt, sodass man sehr viele Nutzende benötigt, um passende Empfehlungen 
aussprechen zu können. 


2.1.2 Content-based Filtering 

Bei Content-based Filtering werden Elemente auf der Grundlage ihrer Attri- 
bute oder Merkmale empfohlen. Solche Systeme analysieren den Inhalt oder 
die Merkmale bewerteter Artikel und gleichen sie mit den Präferenzen der Be- 
nutzer*in hinsichtlich anderer Artikel mit ähnlichen Merkmalen ab (Pazzani 
1999). 
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Ein Vorteil inhaltsbasierter Methoden ist, dass Empfehlungen für neue Ar- 
tikel gegeben werden können, auch wenn für diese noch nicht ausreichend 
Nutzungsinteraktionen vorhanden sind. Indem bewertete Artikel mit ähnli- 
chen Attributen zur Bestimmung der Präferenz der nutzenden Person her- 
angezogen werden, kann Content-based Filtering dennoch relevante Empfeh- 
lungen vorschlagen (Aggarwal et al. 2016). 

Schwächen des Ansatzes sind nach Aggarwal et al. (2016) etwa die Abhän- 
gigkeit von Artikelmerkmalen wie Schlüsselwörtern oder anderem Inhalt, die 
zu offensichtlichen Empfehlungen und damit zu einer Verringerung der Viel- 
falt der empfohlenen Artikel führen kann. Außerdem setzt der Ansatz voraus, 
auf vorherige Bewertungen bzw. Interaktionen der gleichen Nutzer*in zugrei- 
fen zu können. 


2.1.3 Hybride Ansätze 

Hybride Empfehlungssysteme zeichnen sich durch die Kombination von Col- 
laborative und Content-based Filtering aus. Diese Systeme nutzen die Vortei- 
le beider Methoden, um genauere und vielfältigere Empfehlungen zu liefern 
(Burke 2002). Durch die Kombination von Nutzungspräferenzen (Collaborati- 
ve Filtering) und Benutzer- und Artikelmerkmalen (Content-based Filtering) 
zielen hybride Ansätze darauf ab, die Empfehlungsqualität weiter zu verbes- 
sern, indem sie z.B. fehlende Bewertungen für das Collaborative Filtering ein- 
zelner Nutzer”innen auf Basis des Inhaltes vorhersagen und so die Einschrän- 
kungen der einzelnen Techniken vermeiden (Balabanovié und Shoham 1997). 


2.2 Betrachtung ethischer Aspekte 


In den letzten Jahren hat die wachsende Bedeutung datengesteuerter Techno- 
logien auf der Grundlage des maschinellen Lernens Bedenken hinsichtlich ih- 
rer Fairness, Transparenz und möglichen Voreingenommenheit aufgeworfen 
(Mehrabi et al. 2021): 

Maschinelles Lernen, wie es für Empfehlungssysteme, aber auch im brei- 
teren Kontext der Künstlichen Intelligenz (KI) verwendet wird, dient dazu, in 
Daten Muster zu bestimmen oder aus Daten Modelle zu lernen und diese für 
Vorhersagen oder Empfehlungen zu nutzen. Wenn die Trainingsdaten jedoch 
verzerrt sind, werden diese Verzerrungen auch vom Modell übernommen und 
spiegeln sich in dessen Ergebnissen wider (Chen et al. 2023). 

Dies hat dazu geführt, dass sich eine wachsende Forschungsgemeinschaft 
mit den ethischen Auswirkungen von Systemen des maschinellen Lernens be- 
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schäftigt. In diesem Zusammenhang bietet die ACM Conference on Fairness, 
Accountability, and Transparency (ACM FAccT) (Fox et al. 2023) als interdiszi- 
plinäre Konferenz eine Plattform für Wissenschaftler*innen aus verschiede- 
nen Bereichen wie Informatik, Recht, Sozial- und Geisteswissenschaften, um 
sich mit den ethischen Herausforderungen der KI als sozio-technologisches 
System auseinanderzusetzen, und hat die in ihrem Titel formulierten Aspekte 
von Fairness, Verantwortlichkeit und Transparenz als mögliche Teilperspekti- 
ven verantwortungsvoller KI benannt. 

Im Zusammenhang mit Empfehlungssystemen zielen Workshops und 
Tutorials wie FAccTRec (Fairness, Accountability, and Transparency in Re- 
commender Systems) (FAccTRec 2022) oder Fairness and discrimination in 
recommendation and retrieval (Ekstrand, Burke und Diaz 2019) darauf ab, 
speziell diese Fragestellungen für Empfehlungssysteme zu erörtern, und 
folgen damit dem Vorbild von ACM FAccT, um die jeweiligen Aspekte speziell 
für den Anwendungsfall verantwortungsvoller Empfehlungssysteme zu un- 
tersuchen. Dabei werden die im Titel genannten Konzepte der Fairness, der 
Rechenschaftspflicht und der Transparenz um weitere wichtige Themen wie 
Verantwortung, Sicherheit, Compliance und die Auswirkungen fairnessbe- 
wusster und verantwortungsvoller Empfehlungen in Industrie und Forschung 
erweitert (FAccTRec 2022). 


3. Responsible Recommender Design 


In diesem Abschnitt stellen wir ein medizinisches Empfehlungssystem aus 
praktischer Sicht vor und erörtern die ethischen und rechtlichen Implika- 
tionen des allgemeinen Umfelds und der Designentscheidungen für das 
Empfehlungssystem. 


3.1 Recommender Use Case 


In Krankenhäusern gibt es mehrere Abteilungen, die auf bestimmte Diagno- 
sen spezialisiert sind und anderen Abteilungen Dienstleistungen anbieten, 
beispielsweise Radiologie oder Labore. Um eine Diagnose für eine Patient”in 
zu erstellen, stellt die federführende Abteilung des Falles eine Anfrage an eine 
andere Abteilung, mit der sie eine bestimmte Untersuchung anfordert. Diese 
Untersuchung wird dann in der Abteilung durchgeführt, die die diagnostische 
Leistung anbietet, und die Ergebnisse werden an die anfordernde Abteilung 
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zurückgemeldet. Während in der Vergangenheit diese Diagnostikanfragen 
überwiegend telefonisch organisiert wurden, haben heute vor allem größere 
Krankenhäuser diesen Prozess mit IT-Lösungen digitalisiert. Am in diesem 
Beispiel betrachteten Klinikum können Ärzt*innen auf diese Weise Diagnosen 
aus der Radiologie anfordern. Für einen effizienten Anforderungsprozess hat 
sich das Klinikum entschieden, nur eine grobe Diagnosekategorie wie z.B. 
Röntgen des Handgelenks definieren zu lassen, anstatt das gesamte Spektrum 
der rund 2000 möglichen Untersuchungen darzustellen, die durchgeführt und 
abgerechnet werden können. Für die Dokumentation und Abrechnung muss 
jedoch das genaue diagnostische Verfahren erfasst werden. Deshalb beschäf- 
tigt das Klinikum medizinische Fachangestellte, die die Anfrage verfeinern, 
bevor sie diese an die entsprechende Abteilung weiterleiten. Dieser Ansatz hat 
zwei Nachteile, die durch Empfehlungssysteme adressiert werden können. 
Erstens nimmt die Verfeinerung durch das medizinische Personal Zeit in 
Anspruch, was bei dringenden Fällen im Gegensatz zu einem direkten Kon- 
takt zwischen anfordernder und leistender Abteilung ein Problem darstellen 
kann, insbesondere wenn es Rückfragen an die anfordernde Abteilung gibt. 
Zweitens wird die Kapazität des Personals für eine Aufgabe gebunden, die für 
den Prozess nicht zwingend erforderlich ist, und die ansonsten für wertvollere 
Aufgaben wie die ärztliche Versorgung der Patientinnen verwendet werden 
könnte. 

Die Einbindung von Empfehlungssystemen in diesen Prozess kann dazu 
beitragen, diesen Prozess effizienter zu gestalten. Dafür können sie in zwei 
Prozessschritten eingesetzt werden. Erstens als Hilfsmittel für das medizini- 
sche Fachpersonal, was den Prozess der Verfeinerung von Anfragen effizien- 
ter macht. Zweitens als Hilfsmittel für die anfordernden Arzt*innen, was es 
ihnen ermöglicht, Diagnosen feingranularer und präziser anzufordern, ohne 
sie dabei mit einer Vielzahl möglicher Optionen und einem zeitaufwändigen 
Auswahlprozess zu belasten. 

Neben diesen Prozessschritten sind auch andere technische Überlegun- 
gen für die Gestaltung des Empfehlungssystems und für die sich daraus er- 
gebenden möglichen ethischen Überlegungen von Bedeutung. So stellt sich 
beispielsweise die Frage, aufwelcher Datenbasis das Empfehlungssystem trai- 
niert werden soll. Durchgeführte und abgerechnete Diagnosen werden hier 
seit langem erfasst, da sie aus buchhalterischen Gründen digital dokumen- 
tiert werden müssen. Sie stellen eine relativ saubere Datenbasis dar, da von der 
Beantragung bis zur Durchführung der Untersuchung mehrere Expert”innen 
beteiligt waren, mögliche Fehler zu korrigieren. Nachteilig ist, dass viele die- 
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ser Aufzeichnungen nicht mit den ursprünglichen Anträgen und den ihnen zu- 
grunde liegenden Entscheidungen in Verbindung gebracht werden können, da 
sie möglicherweise in der Vergangenheit telefonisch gestellt wurden. Außer- 
dem spiegeln sie nicht die von der anfragenden Stelle bevorzugte Granularität 
wider, da sie hauptsächlich der Abrechnung der Leistungen dienen. Auf der 
anderen Seite sind die auf der anfordernden Seite verfügbaren Daten meist 
unstrukturiert und auf recht grobe Diagnosekategorien beschränkt. Zudem 
ist die Qualität der Daten nicht gesichert, da beispielsweise relevante Antei- 
le der Anfragen von unerfahrenen Arzt*innen generiert werden können, die in 
nachfolgenden Prozessschritten von Expert*innen für die jeweiligen Diagno- 
sen verfeinert werden können. Dies wird auch im Hinblick auf den Recom- 
mender-Ansatz relevant, da zum Beispiel Ansätze, die auf Collaborative Fil- 
tering basieren, unter der Datenqualität leiden könnten und dadurch mögli- 
cherweise nicht optimale Untersuchungen empfehlen. Dies erfordert wieder- 
um eine nachträgliche Verfeinerung der Anfragen, wohingegen wissensbasier- 
te Ansätze, die auf klinischen Leitlinien basieren, in ähnlichen Anwendungen 
nachweislich bessere Ergebnisse liefern (Mei et al. 2015). 

Unter dem Gesichtspunkt der Akzeptanz bringt dies ebenfalls Herausfor- 
derungen mit sich, da sich die anfordernden Ärzt*innen durch Vorschläge, 
die über den ursprünglich beabsichtigten Rahmen hinausgehen, bevormun- 
det fühlen könnten, während dies andererseits das Potenzial bietet, die Quali- 
tät der Anfragen zu verbessern und die Anzahl der erforderlichen Nachbesse- 
rungen zu verringern. Das Anbieten von Empfehlungen, die die Intention des 
Anfragenden zu genau modellieren, wirft dagegen Fragen der (gefühlten) Ver- 
antwortlichkeit auf, da die anfragenden Ärzt*innen in Verhaltensmuster ver- 
fallen könnten, die dazu führen, sich zu sehr auf die Empfehlung zu verlassen. 

Neben diesen Überlegungen wirft die Entwicklung und der Einsatz eines 
Empfehlungssystems in diesem sensiblen medizinischen Kontext auch meh- 
rere Fragen in Hinblick auf Fairness, Verantwortlichkeit und Transparenz auf, 
die in den folgenden Abschnitten behandelt werden. 


3.2 Verantwortlichkeit 


Die im vorangegangenen Abschnitt skizzierten Aspekte der Verantwortlichkeit 
für ein Empfehlungssystem können aus zwei Perspektiven mit auf den ersten 
Blick widersprüchlichen Sichtweisen betrachtet werden. Aus praktischer Sicht 
entlastet ein Empfehlungssystem, das die Grundlage für die Beantragung der 
gewünschten Untersuchung bietet, das Assistenzpersonal mit dem Potenzi- 
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al, es in der Prozesskette letztlich einzusparen. Aus sozio-ökonomischer Sicht 
geht es um die Verantwortung für diese Mitarbeiter”innen, da sich für das 
Krankenhaus Möglichkeiten ergeben könnten, Personal abzubauen, um Kos- 
ten zu sparen. Diese schwerwiegenden Folgen für die Betroffenen könnten gar 
den Einsatz als »verantwortungsvolles« Empfehlungssystem nicht mehr recht- 
fertigen. 

Aus einer anderen Perspektive kann die gleiche Situation zu einem ande- 
ren Ergebnis führen. Wenn das Empfehlungssystem es ermöglicht, eine große 
Anzahl von Standardfällen direkt anzufordern, kommt die Zeitersparnis den 
Patient*innen zugute. Das Assistenzpersonal kann sich dann auf schwierige 
Fälle konzentrieren, Anfragen bearbeiten, die einer weiteren Klärung bedür- 
fen, oder mit anderen Aufgaben betraut werden, die die Versorgung aus Sicht 
der Patient*innen insgesamt verbessern. 

Diese Überlegungen deuten darauf hin, dass das tatsächliche Ergebnis 
hinsichtlich der Verantwortungsaspekte von den Entscheidungen der Kran- 
kenhausleitung abhängt, was sich mit der kürzlich von Gansky und McDonald 
(2022) geführten Diskussion deckt, die anmerken, dass der organisatorische 
Kontext, in dem das System eingesetzt werden soll, berücksichtigt werden 
muss. 

Daher scheint der Einsatz eines Empfehlungssystems zum Wohle der Pa- 
tient”innen, die in einer Krankenhausumgebung im Mittelpunkt stehen, ver- 
tretbar, wenn Compliance- und Sicherheitsaspekte eingehalten werden. 


3.3 Fairness 


Fairness von Empfehlungssystemen kann aus einer prozeduralen Perspektive 
(Lee etal. 2019) miteinem Fokus auf Fairness innerhalb des Entscheidungspro- 
zesses oder aus einer ergebnisorientierten Perspektive der Behandlung ähnli- 
cher Individuen oder Gruppen (Biega, Gummadi und Weikum 2018) bewer- 
tet werden. Während Fairness im Allgemeinen mit der Verringerung oder Ver- 
meidung von Verzerrungen im Entscheidungsprozess des maschinellen Ler- 
nens verbunden ist, die oft durch die Daten eingeführt werden (Zou und Schie- 
binger 2018), kann sie aus einer prozeduralen Perspektive (Lee et al. 2019) mit 
einem Fokus auf Fairness innerhalb des Entscheidungsprozesses oder aus ei- 
ner ergebnisorientierten Perspektive bei der Behandlung ähnlicher Individuen 
oder Gruppen (Biega, Gummadi und Weikum 2018) angegangen werden. 

Der Unterschied zwischen einer prozeduralen und einer ergebnisorien- 
tierten Perspektive kann zu unterschiedlichen Bewertungen in Bezug aufethi- 
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sche Belange und somit zu unterschiedlichen Ergebnissen führen. Tatsäch- 
lich kann verfahrensbezogene Fairness zu Ergebnissen führen, die als unge- 
recht empfunden werden, und umgekehrt (Lee et al. 2019). Speziell im Bereich 
der Gesundheitsversorgung wurde eine ähnliche Frage von Tsuchiya und Do- 
lan (2009) untersucht, die die Sichtweise der Öffentlichkeit auf ergebnis- und 
gewinnbezogene Fairness betrachtet haben. Sie warfen Fragen bezüglich der 
Verzerrung der wahrgenommenen Fairness in der Gesellschaft auf. In ihrer 
Studie zeigen Tsuchiya und Dolan (2009), dass die Mehrheit der Befragten in 
Bezug auf den sozialen Status eine ergebnisorientierte Fairness im medizi- 
nischen Kontext bevorzugt, während eine beträchtliche Minderheit eine ge- 
winnorientierte Fairness bevorzugt. Für die ergebnisorientierte Perspektive 
ist jedoch die Definition des Ergebnisses von großer Bedeutung. Offensicht- 
lich kann die Empfehlung einer Untersuchung nicht als Ergebnis angesehen 
werden, da unterschiedliche (potenziell geschützte) Untergruppen, beispiels- 
weise Kinder und ältere Menschen, aus medizinischer Sicht unterschiedliche 
Untersuchungen benötigen. Die Definition des Ergebnisses ist auch für die 
Bewertung der Empfehlung selbst von Bedeutung, da das Lernen aus in der 
Vergangenheit durchgeführten Untersuchungen als Grundwahrheit nicht un- 
bedingt die beste Wahl für die Patient*in widerspiegelt und den Erfolg nach- 
folgender Behandlungen nicht bewerten kann. Eine Lösung, wie sie von Mei 
et al. (2015) vorgeschlagen wurde, ist die Verwendung einer kohortenstudien- 
basierten Auswertung zur Bewertung des Erfolgs der empfohlenen Behand- 
lungen und zur Bewertung der Fairness. In der hier betrachteten Fragestel- 
lung ist das Ergebnis jedoch schwer zu definieren, da selbst einfache Kriterien, 
wie die Wartezeit bis zur Diagnosestellung, durch gruppenspezifische medizi- 
nische Aspekte, wie beispielsweise die Dringlichkeit, verzerrt werden können 
und sich diese Verzerrung auch in den Daten wiederfindet. Zusätzlich zu sol- 
chen gerechtfertigten und gewünschten Verzerrungen können sich in den Da- 
ten aber auch implizite Verzerrungen wiederfinden, die im Sinne eines fairen 
Entscheidungssystems nicht durch das System übernommen werden sollten. 

Dies zeigt, dass bestimmte Kompromisse in Bezug auf Fairness und Ethik 
aus fachspezifischer Sicht notwendig sind, um die medizinische und ökono- 
mische Realität widerzuspiegeln, wie sie in der täglichen medizinischen Pra- 
xis benötigt wird (Beauchamp und Childress 1994), und um damit die Akzep- 
tanz für alle Beteiligten zu gewährleisten (Milano, Taddeo und Floridi 2020). 
Dennoch muss die Prüfung dieser Kompromisse auf ihre klinische und ethi- 
sche Validität in den Bewertungsprozess des Empfehlungssystems einbezogen 
werden. 
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Aus algorithmischer Sicht spielt die Unverzerrtheit der Daten in Hinblick 
auf Ansätze, die Collaborative Filtering verwenden, eine größere Rolle als bei 
Content-basierten Verfahren, insbesondere solchen, die auf medizinischem 
Wissen basieren, da sich potentielle Fairnessprobleme aus der Vergangenheit, 
die in den Daten vorkommen, durch den inhärenten Zusammenhang mit 
ähnlichen Fällen wiederholen würden. Zahlreiche Forschungsergebnisse ver- 
suchen außerdem auf algorithmischer Ebene unterschiedliche Perspektiven 
von Fairness sicherzustellen (Wang et al. 2023), die für die Umsetzung eines 
medizinischen Empfehlungssystems Beachtung finden sollten. 


3.4 Rechenschaftspflicht 


Die Rechenschaftspflicht im Zusammenhang mit Systemen zur Empfehlung 
von Untersuchungen konzentriert sich auf die Frage, wer für den poten- 
ziellen Schaden, den das komplexe sozio-technische System einschließlich 
der anfordernden Arzt*innen, des Empfehlungssystems und seiner Ent- 
wickler*innen, des medizinischen Assistenzpersonals und der ausführenden 
Arzt*innen unter Umständen verursacht, verantwortlich ist und wer sich 
dafür verantwortlich fühlt. In einer aktuellen Studie des Europäischen Parla- 
mentarischen Forschungsdienstes über KI im Gesundheitswesen (Lekadir et 
al. 2022) wird der Bedarf an neuen Mechanismen und Rahmenbedingungen 
zur Gewährleistung einer angemessenen Rechenschaftspflicht bei medizi- 
nischer KI festgestellt. Lücken in der KI-Rechenschaftspflicht finden sich in 
drei Aspekten: Aus rechtlicher Sicht fehlende Regelungen und Definitionen 
für die Rechenschaftspflicht, die Schwierigkeit, Rollen und damit verbundene 
Verantwortlichkeiten innerhalb des soziotechnischen Prozesses zu definieren, 
und das Fehlen einer rechtlichen und ethischen Governance für KI-Entwick- 
lende und -Herstellende. Während die meisten vorgeschlagenen Maßnahmen 
eine regulatorische Sichtweise einnehmen, schlägt eine der Maßnahmen vor, 
Prozesse zu implementieren, um die Rollen von KI und Nutzende zu identi- 
fizieren, wenn KI-basierte Entscheidungen Patientinnen schaden könnten 
und die Verantwortlichkeiten explizit zu machen. In ähnlicher Weise schlagen 
Habli, Lawton und Porter (2020) vor, KI-Entwicklende und -Ingenieur*innen 
einzubeziehen, wenn es darum geht, die Verantwortlichkeit für Entscheidun- 
gen im Rahmen des KI-gestützten Prozesses zu bewerten. Darüber hinaus 
erörtern sie, dass die Rechenschaftspflicht unmittelbar mit Sicherheit ver- 
bunden ist, die während der KI-Entwicklung nicht vollständig vorhersehbar 
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ist, insbesondere im Hinblick auf mögliche Verhaltensanpassungen von 
Arzt*innen, Patient*innen und dem System selbst. 

Da die Arzt*innen die endgültige Entscheidung über die Annahme oder 
Ablehnung von Empfehlungen treffen, schlagen wir vor, das Bewusstsein für 
Verantwortlichkeit und Sicherheitsbedenken als Teil des Anforderungsprozes- 
ses zu schärfen, indem die Annahmequote der vorgeschlagenen Empfehlung 
beobachtet wird. Wenn diese Auswertung darauf hindeutet, dass sich die an- 
fragende Person zu sehr aufdie Empfehlung verlässt, können Schritte zur Sen- 
sibilisierung eingeleitet werden, beispielsweise durch die Empfehlung einer 
unzulässigen Diagnose, die, wenn sie unreflektiert akzeptiert wird, mit einer 
Warnmeldung gestoppt wird. 


3.5 Transparenz 


Transparenz wird von Smith (2021) als Schlüsselaspekt für die Rechenschafts- 
pflicht und damit für die Akzeptanz identifiziert, die argumentiert, dass 
Ärzt*innen für den Einsatz in der klinischen Praxis über ihre Entscheidung 
Rechenschaft ablegen müssen und intransparente KI-Systeme ablehnen 
werden, da sie deren Ergebnis nicht nachvollziehen können. Andererseits 
behaupten Clement, Ren und Curley (2021) in ihrer empirischen Studie, dass 
Transparenz die Akzeptanz minderwertiger Empfehlungen begünstigt, also 
eine Verhaltensänderung bewirkt, indem sie potentiell falsche Modellemp- 
fehlungen mit plausibel klingenden Erklärungen versieht. 

Da die von den Ärzt*innen formulierten Anforderungen auf medizini- 
schen Entscheidungen beruhen, dient das Empfehlungssystem in unserem 
Szenario in erster Linie dazu, den Auswahlprozess und nicht den Entschei- 
dungsprozess zu verbessern. Daher müssen die Arzt*innen in diesem Rahmen 
nicht für das Ergebnis des Systems, also die Empfehlung, die Verantwortung 
übernehmen, sondern für ihre Entscheidung. Eine von der eigentlichen 
Absicht abweichende Empfehlung muss einer medizinischen Bewertung 
unterzogen werden, bevor sie als praktikable Option eingestuft wird. Eine 
automatisierte Rationalisierung oder Erklärung der Empfehlung könnte da- 
her den Bewertungsprozess abkürzen und damit die notwendige Sorgfalt 
untergraben, was auch mit der allgemeineren Beobachtung der Aufwertung 
algorithmischer Entscheidungen in Zusammenhang steht (Logg, Minson und 
Moore 2019). Eine weniger eingreifende Form der Transparenz, die Arzt*innen 
die notwendigen Informationen liefert, ohne die eigentliche Argumentati- 
on vorwegzunehmen, kann daher besser geeignet sein. Die Bereitstellung 
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ähnlicher Fälle zum Vergleich für einen auf Collaborative Filtering basieren- 
den Ansatz oder die Unterstützung wissensbasierter Empfehlungen durch 
klinische Leitlinien könnten ein vielversprechender Kompromiss zwischen 
der Undurchsichtigkeit der Empfehlungen und feinkörnigen Begründungen 
darstellen, ohne zu unerwünschten Verhaltensänderungen zu führen. 


3.6 Compliance 


Was die Einhaltung der Vorschriften betrifft, so gelten in Deutschland und der 
Europäischen Union für medizinische KI die 2017/746 In Vitro Diagnostic Me- 
dical Devices Regulation (IVDR) und die 2017/745 Medical Devices Regulations 
(MDR) (Lekadir et al. 2022), wobei letztere eher fiir die Festlegung von Dia- 
gnoseempfehlungen gilt. Kiseleva (2020) kommt zu dem Schluss, dass diese 
Verordnung als anfanglicher rechtlicher Rahmen dienen kann, jedoch in Be- 
zug auf Transparenz und Rechenschaftspflicht erweitert werden muss. Dies 
wird durch die Notwendigkeit einer Risikobewertung im Vorschlag des For- 
schungsdienstes des Europäischen Parlaments über Künstliche Intelligenz im 
Gesundheitswesen (Lekadir et al. 2022) ergänzt, der in Übereinstimmung mit 
dem Vorschlag der Europäischen Kommission für eine KI-Regulierung zusätz- 
lich vorschlägt, Anwendungen nach Risikostufen von inakzeptabel bis minimal 
einzustufen. Für Empfehlungssysteme wurde die Anwendbarkeit dieser Rege- 
lung kürzlich von Schwemer (2021) diskutiert, wobei die Anwendung im me- 
dizinischen Kontext als potenzielle Hochrisikoanwendungen eingestuft wer- 
den dürften (Lekadir et al. 2022). Aus praktischer Sicht bietet die Initiative 
FUTURE-AI (Lekadir et al. 2021) Leitlinien und Best Practices für vertrauens- 
würdige KI in der Medizin, die bei der Gestaltung eines Empfehlungssystems 
berücksichtigt werden sollten. 


3.7 Sicherheit 


Der Aspekt der Sicherheit ist nicht nur mit der eigentlichen Performance 
des Empfehlungssystems verbunden, was die offensichtliche Fragestellung 
darstellt, wie geeignet die Empfehlungen sind und ob der Einsatz des Systems 
positive Auswirkungen hat, oder ob falsche oder ungenaue Empfehlungen 
eines schwachen Empfehlungssystems einen negativen Einfluss haben kön- 
nen, etwa durch zusätzlichen Zeitaufwand bei der Verfeinerung der Anfrage 
bis hin zu nicht optimalen diagnostischen Entscheidungen, die wichtige 
Gesundheitszustände übersehen und somit direkt oder indirekt Schaden 
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für die Patient*innen verursachen (Lekadir et al. 2022). Stattdessen kann 
die Sicherheit auch aus einer nutzungszentrierten Perspektive angegangen 
werden, wie im Zusammenhang der Rechenschaftspflicht erörtert, wo der 
Missbrauch eines Systems zu Sicherheitsproblemen führen kann, sowie aus 
einer datenorientierten Perspektive, beispielsweise, wenn die Daten falsche 
Informationen oder Rauschen enthalten oder die Datenpunkte aus einer auf 
klinischen Leitlinien basierenden Perspektive veraltet sind. Dies spiegelt sich 
auch in praktischen Richtlinien und Vorschriften wider, da Sicherheit am 
besten ganzheitlich betrachtet wird, von der Datenerfassung, der Annotation, 
über das Systemdesign und der Evaluierung bis hin zum sozio-technischen 
und organisatorischen Kontext, in dem es verwendet wird (Lekadir et al. 2021; 
Dobbe 2022) und in diesem Komplex entsprechend geprüft wird (Falco et al. 
2021). 

Für die Bewertung der Sicherheit unseres Empfehlungssystems bedeutet 
dies, dass wir uns nicht nur auf Leistungskennzahlen verlassen können, zu- 
mal die Daten selbst anfällig für Fehler und Rauschen sein können. Während 
die Leistung des Systems in einem Bereich liegen muss, in dem der potenziel- 
le Nutzen die Sicherheitsrisiken überwiegt, um brauchbar zu sein, muss der 
Nutzen und die Sicherheit aus einer Ergebnisperspektive konsequent über- 
wacht werden, insbesondere während des Betriebs. 


3.8 Zusammenfassung und Diskussion 


Unter Berücksichtigung der vorangegangenen Überlegungen, die wir im 
Folgenden nochmals zusammenfassen, könnte der Einsatz eines verantwor- 
tungsvollen Empfehlungssystems zum Wohle der Patient*innen vertretbar 
sein, wenn Compliance- und Sicherheitsaspekte eingehalten werden können. 
Hinsichtlich Fairness scheint das Ergebnis in der hier betrachteten Fragestel- 
lung schwer bewertbar zu sein, da selbst einfache Kriterien wie die Wartezeit 
bis zur Diagnosestellung durch gruppenspezifische medizinische Aspekte, 
wie beispielsweise die Dringlichkeit, verzerrt werden können. Dies zeigt, dass 
bestimmte Kompromisse in Bezug auf Fairness und Ethik aus fachspezifi- 
scher Sicht notwendig sind, um die medizinische und ökonomische Realität 
widerzuspiegeln (Beauchamp und Childress 1994) und damit die Akzeptanz 
für alle Beteiligten zu gewährleisten (Milano, Taddeo und Floridi 2020). Da- 
her muss die Prüfung dieser Kompromisse auf ihre klinische und ethische 
Validität in den Bewertungsprozess des Empfehlungssystems einbezogen 
werden. Die Algorithmik des Empfehlungssystems ist nicht in der Lage, diese 
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Balance automatisch zu gewährleisten und bedarf daher Anpassungen, falls 
die Fairness nicht sichergestellt ist. 

Da die Arzt*innen die endgültige Entscheidung über die Annahme oder 
Ablehnung von Empfehlungen treffen, sind sie auch verantwortlich und da- 
mit rechenschaftspflichtig. Wir schlagen deshalb vor, das Bewusstsein für 
Verantwortlichkeit und Sicherheitsbedenken als Teil des Anforderungspro- 
zesses immer wieder zu schärfen, indem beispielsweise die Annahmequote 
der vorgeschlagenen Empfehlung beobachtet und hinterfragt wird. Hinsicht- 
lich der Transparenz könnten plausibel klingende Erklärungen die nötige 
Sorgfalt, diese nicht unhinterfragt zu übernehmen, einschränken. Eine we- 
niger eingreifende Form der Transparenz, die Arzt*innen die notwendigen 
Informationen liefert, ohne die eigentliche Argumentation vorwegzunehmen, 
dürfte daher besser geeignet sein, um trotzdem Transparenzanforderungen 
an das Systems zu adressieren. Nach dem Vorschlag des Forschungsdienstes 
des Europäischen Parlaments über Künstliche Intelligenz im Gesundheits- 
wesen (Lekadir et al. 2022) dürfte die Anwendung von Empfehlungssystemen 
im medizinischen Kontext als potenzielle Hochrisikoanwendungen einge- 
stuft werden (Lekadir et al. 2022). Aus praktischer Sicht bietet die Initiative 
FUTURE-AI (Lekadir et al. 2021) Leitlinien und Best Practices für vertrauens- 
würdige KI in der Medizin, die bei der Gestaltung eines Empfehlungssystems 
berücksichtigt werden sollten, um den hohen Anforderungen als Hochri- 
sikoanwendung gerecht zu werden. Sicherheitsaspekte sollten am besten 
ganzheitlich betrachtet werden, von der Datenerfassung, der Annotation, 
über das Systemdesign und der Evaluierung bis hin zum sozio-technischen 
und organisatorischen Kontext, in dem es verwendet wird (Lekadir et al. 2021; 
Dobbe 2022) und in diesem Komplex entsprechend geprüft werden (Falco et 
al. 2021), insbesondere auch während des Betriebs. 


4. Fazit 


In dieser Arbeit haben wir ein Empfehlungssystem für medizinische Un- 
tersuchungen in einem anwendungsorientierten Kontext skizziert. Wir 
haben die Implikationen der Designentscheidungen, des Anwendungsfalls 
und des Systems im Hinblick auf Verantwortung, Fairness, Rechenschafts- 
pflicht, Transparenz, Compliance und Sicherheit erörtert und einen Überblick 
über die Möglichkeiten gegeben, wie diese Implikationen und Probleme aus 
praktischer Sicht adressiert werden können. Im Kontext unseres Empfeh- 
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lungssystems konnten wir damit wichtige ethische Aspekte, die für eine 
verantwortungsvolle Gestaltung und Implementierung relevant sind, ope- 
rationalisieren und im Kontext bisheriger Arbeiten bewerten, und hoffen, 
damit Impulse für die weitere Entwicklung eines solchen Systems und deren 
Umsetzung in der Praxis zu geben. 
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Zu viel Gewissheit? Herausforderungen künstlich- 
intelligenter Gesundheitsprädiktionen für die 
öffentliche Gesundheitsversorgung 


Ulrich Freiherr von Ulmenstein, Max Tretter, Christina Lauppert von Peharnik, 
David Ehrlich 


Einleitung 


Künstliche Intelligenz (KI) dringt kontinuierlich in immer mehr Lebensberei- 
che vor und löst dort umfassende Transformationen aus. Gerade auf epistemi- 
scher Ebene bergen KI-Systeme ein enormes Potenzial, signifikante Verände- 
rungen zu bewirken (Schmidt 2022). Die ersten Vorboten dieser Veränderun- 
gen werden schon sichtbar in der Art und Weise, wie große Sprachmodelle und 
intelligente Suchmaschinen unseren Umgang mit Informationen beeinflus- 
sen und dabei unsere Vorstellungen von Wissen selbst neu prägen (Dabrock 
2023). Doch die Potenziale der KI beschränken sich nicht auf den Alltagsge- 
brauch. Im Gesundheitswesen beispielsweise werden fortschrittliche KI-An- 
wendungen zur Analyse von Daten genutzt, um die Gesundheitsentwicklung 
von Einzelpersonen zu prognostizieren (Chaari 2019; Topol 2020). Im politi- 
schen Kontext werden KI-Systeme eingesetzt, um die möglichen Auswirkun- 
gen verschiedener Entscheidungen auf die Gesellschaft abzuschätzen (Valle- 
Cruz und Sandoval-Almazan 2018; Valle-Cruz et al. 2019). 

Es ist unbestritten, dass KI-gestützte Prognosen zum aktuellen Zeitpunkt 
nicht vollständig zuverlässig sind. Die Möglichkeit, dass KI-Systeme Fehl- 
einschätzungen treffen und prognostizierte Ereignisse nicht oder anders als 
erwartet eintreten, ist stets präsent. Im Endeffekt sind die Prognosen von 
KI-Systemen immer nur bedingt verlässlich. Doch auch die Gewissheiten, die 
sich aus solchen KI-Prädiktionen gewinnen lassen, können sich als äußerst 
hilfreich erweisen. Selbst wenn eine medizinische KI lediglich eine grobe Ten- 
denz abgeben kann, wie sich die Gesundheit einer Person in den kommenden 
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Jahren voraussichtlich entwickeln wird, sind diese Vorhersagen oftmals nütz- 
licher als ein komplettes Informationsvakuum - und trotz der Gefahr einer 
Fehleinschätzung - häufig verlässlicher als menschliche Schätzungen. So sehr 
KI-basierte Prognosen einerseits mit Vorsicht zu genießen und als grobe An- 
näherungen zu betrachten sind, deren Eintritt zwar nicht unwahrscheinlich 
ist, die aber dennoch nicht als absolut verlässlich eingestuft werden sollten, so 
wertvoll können sich derlei KI-getriebene Gewissheitsgewinne andererseits 
doch erweisen (Tretter 2023). 

In diesem Beitrag werden wir die Überlegungen hinsichtlich des Zu- 
sammenhangs zwischen KI und Gewissheit weiterführen. Anhand eines 
gedanklichen Experiments wollen wir untersuchen, welche potenziellen Her- 
ausforderungen auf das öffentliche Gesundheitssystem zukommen könnten, 
sollten KI-Anwendungen in der Lage sein, die Gesundheitsentwicklung von 
Einzelpersonen mit außerordentlicher Präzision vorherzusagen. Dabei gehen 
wir von einer Vorhersagegenauigkeit aus, die so hoch ist, dass eventuelle 
Fehlprognosen als vernachlässigbar gelten können. 

Obwohl KI-basierte Gesundheitsprädiktionen auf der einen Seite enorme 
Chancen bergen, besteht auf der anderen Seite die Befürchtung, dass der Ein- 
satz von KI zur Gewissheitsschaffung in Gesundheitskontexten bestehende 
Finanzierungsprobleme in dualen öffentlich-privaten Gesundheitssystemen 
verschärfen könnte (Corea 2019). Dieser Aspekt wird im Folgenden tieferge- 
hend behandelt, indem wir aufzeigen, wie der Einsatz von prädiktiver und 
gewissheitsschaffender KI im Gesundheitswesen adverse Selektionsdynami- 
ken verstärken kann. 

Um diese These zu untermauern, klären wir zunächst relevante konzep- 
tionelle Begriffe und erläutern dann, welche epistemischen Verschiebungen 
von Ungewissheit und Gewissheit der Einsatz von KI im Gesundheitsbereich 
bereits jetzt und umso mehr in der Zukunft befördern kann. Am Beispiel 
des deutschen Gesundheitssystems analysieren wir dann die komplexen 
Auswirkungen neugewonnener Gesundheitsgewissheiten unter den systemi- 
schen Bedingungen des deutschen Gesundheitssystems (insbesondere den 
Wahlmöglichkeiten der Versicherungsformen) auf die Zusammensetzung der 
Versichertengemeinschaften. Dabei wird deutlich, dass Personen mit posi- 
tiven Gesundheitsprognosen einen starken Anreiz haben könnten, von der 
gesetzlichen Krankenversicherung (GKV) in die private Krankenversicherung 
(PKV) zu wechseln. Eine solche Dynamik könnte die Finanzierung der GKV 
bedrohen. Nach einer Zusammenfassung der bisherigen Erkenntnisse geben 
wir einen kurzen Ausblick darauf, wie man diesem Problem begegnen könnte. 
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Konzeptions- und Begriffsklarungen 


Den anzustellenden Untersuchungen seien einige begriffskonzeptionelle Er- 
lauterungen zu Gewissheit und Ungewissheit sowie KI und Gesundheitssystem vor- 
angestellt. Sie dienen der Bereitstellung eines einheitlichen Betrachtungsrah- 
mens. 

Wir legen dem Beitrag ein pragmatisches Verstandnis von Ungewissheit 
und Gewissheit zu Grunde. Dieses wird am besten deutlich, wenn man es 
vom Zentralkonzept des Pragmatismus, dem Handlungsbegriff, her versteht. 
Um das eigene Handeln vernünftig planen und informierte Handlungsent- 
scheidungen treffen zu können, brauchen Personen erstens eine Kenntnis 
ihrer gegenwärtigen Situation. Das bedeutet, sie brauchen eine Kenntnis 
ihrer gegenwärtigen Lage und Verfassung sowie eine gewisse Ahnung davon, 
was demnächst auf sie zukommen wird. Zweitens müssen Personen ihre 
Handlungsoptionen kennen und abschätzen können. D.h. sie müssen wissen, 
welche Handlungen sie gegenwärtig durchführen können und abschätzen 
können, welche Konsequenzen ihr Handeln nach sich ziehen wird. 

Eine Situation, in der es Personen schwerfällt, ihre gegenwärtige Lage ein- 
und die Folgen ihrer Handlungsoptionen abschätzen zu können, bezeichnen 
wir als ungewiss. Diese Ungewissheit kann zustande kommen, weil es der Per- 
son an Informationen über ihre Situation fehlt oder weil sie den vorliegenden 
Informationen misstraut, sie als verzerrt, ungenau oder schlichtweg falsch 
einschätzt (Smithson 1989). Eine gegenteilige Situation hingegen, in der einer 
Person Informationen zur Verfügung stehen, die sie als ausreichend und 
verlässlich genug einstuft, um ihre aktuelle Lage einschätzen und antizipieren 
zu können, was auf sie zukommen wird, und um ihre Handlungsoptionen 
inklusive deren möglicher Folgen abschätzen zu können, beschreiben wir als 
gewiss (Dewey 2001). 

Wir nutzen die Begriffe Ungewissheit und Gewissheit demnach nicht, um die 
objektive Qualität von Informationen zu beschreiben und Aussagen darüber 
zu treffen, wie richtig und verlässlich Informationen sind. Um Aussagen dieser 
Art zu treffen, etwa ob eine physikalische Theorie die Welt beschreibt oder eine 
errechnete Prognose eintrifft, greifen wir auf die Begriffe der Richtigkeit und 
Verlässlichkeit zurück. Dagegen nutzen wir die Begriffe Ungewissheit und Ge- 
wissheit, um das subjektive Überzeugt-sein von Informationen bzw. subjektive 
Überzeugungen zu beschreiben, die Personen zum Ausgangspunkt ihres Ent- 
scheidens und Handelns machen. Vor diesem Hintergrund beschreibt Unge- 
wissheit einen subjektiven Mangel an Informationen, der das Treffen vernünf- 
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tiger Handlungsentscheidungen erschwert oder verunmöglicht (Wittgenstein 
2020) — Gewissheit hingegen das Vorliegen von Informationen, die als verläss- 
lich eingestuft werden und die Grundlage des eigenen Handelns und Entschei- 
dens bilden (Dewey 2001). Diese strikte Differenzierung zwischen einer objek- 
tiven Qualität von Informationen und einem subjektiven Überzeugt-sein von 
Informationen bedeutet jedoch nicht, dass die Richtigkeit bzw. Verlässlichkeit 
einer Information für subjektive Überzeugungen bzw. Gewissheit irrelevant 
seien. Denn als je »richtiger« und verlässlicher sich Informationen erweisen, 
desto eher eignen sich Personen diese Informationen als Gewissheiten an und 
gründen ihre Handlungsentscheidungen auf diesen.” 

An diesem pragmatischen Zugang ist hervorzuheben, dass es weder ab- 
solute Ungewissheit noch totale Gewissheit gibt. Denn selbst dann, wenn 
eine Person sich ganz unsicher ist, ihre Situation kaum einschätzen und ihre 
Handlungen und deren Folgen schlecht abwägen kann, besitzt sie immer noch 
ein Mindestmaß an Situationsbewusstsein. Sie ist, vereinfacht ausgedrückt, 
niemals absolut unwissend und kann immer auf einen Mindestbestand an 
Kenntnissen oder Intuitionen zurückgreifen, um sich und ihre Handlun- 
gen zu orientieren (Wittgenstein 2020). Umgekehrt ist es, zumindest im 
Regelfall, auch so, dass jede Person um die Fehlbarkeit ihrer eigenen Über- 
zeugungen weiß. Sie weiß, dass selbst, wenn sie sich einer Sache momentan 
wirklich sicher ist, zukünftige Informationen ihr gegenwärtiges Wissen als 
defizitär, verzerrt oder fehlgeleitet erweisen können und dass zumindest die 
Möglichkeit besteht, dass andere Informationen zutreffender sind und eine 
verlässlichere Grundlage für das eigene Handeln liefern (Johnson 2022). Jede 
Ungewissheit und jede Gewissheit ist demnach vorläufig und relativ. 

Da es uns in unserem Beitrag weniger darum geht, die gegenwärtigen 
Potentiale spezifischer KI-Technologien zu bewerten denn eher darum, zu 
erkunden, wohin die Reise gehen könnte und welche Gewissheiten mithilfe 


1 Unsere Präferenz für diese pragmatischen Begriffsdefinition resultiert primär aus der 
Beobachtung, dass individuelle Entscheidungen in sozialen Kontexten häufig auf ein- 
geschränkt verlässlichen Informationen basieren. Dennoch können solche Entschei- 
dungen gleichzeitig als von Gewissheit getragen wahrgenommen werden. Ein exem- 
plarisches Paradigma hierfür sind juristische Prozesse, insbesondere im Kontext der 
Beweisführung und richterlichen Urteilsfindung. Im Rahmen einer Beweiswürdigung 
können Richter*innen in ihrem Urteil eine Tatsache (z.B., dass das Fahrzeug A auf das 
Fahrzeug B aufgefahren ist) als mit Gewissheit gegeben aussprechen, auch wenn die 
dafür beweisgebende Zeug*innenaussage längst nicht alle Zweifel ausgeräumt hat 
(z.B., weil die Wahrnehmung der Zeug*innen schlicht zu lange zurückliegt). 
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von KI in Zukunft produziert werden könnten, greifen wir auf ein alltags- 
sprachliches Verständnis von KI zurück. Unter KI verstehen wir sämtliche 
Algorithmen, die gegenwärtig unter dem Begriff KI subsummiert und dazu 
genutzt werden, große Datenmengen hochgradig selbstständig zu analysie- 
ren und Schlüsse aus ihnen zu ziehen (Boden 2018). Diskussionen darüber, ob 
es sich bei Algorithmen, die als KI betitelt werden, tatsächlich um KI handelt 
oder nur um komplexe Wenn-Dann-Schleifen, sowie feingliedrige Differen- 
zierungen in verschiedene Arten von KIklammern wir an dieser Stelle bewusst 
aus. 

Unter dem Begriff Gesundheitssystem fassen wir sämtliche Institutio- 
nen, die innerhalb eines meist nationalen Kontextes an der medizinischen 
Behandlung oder gesundheitlichen Pflege von Personen, der Organisation 
dieser Tätigkeiten oder ihrer Finanzierung beteiligt sind (Schölkopf und 
Grimmeisen 2021). Viele dieser Gesundheitssysteme weisen eine duale öf- 
fentlich-private Struktur auf. Der öffentliche Teil des Gesundheitssystems, 
dem zumeist alle Bürgerinnen obligatorisch angehören, bietet ihnen eine 
medizinische Grundversorgung. Um über dieses Grundmaß hinaus medizi- 
nisch versorgt zu sein, können die Bürger”innen substitutive oder zusätzliche 
Versicherungen abschließen (Rice 2021). Dies bezeichnen wir als den privaten 
Teil des Gesundheitssystems. Im deutschen Gesundheitssystem entspricht 
die GKV dem öffentlichen Teil des Gesundheitssystems, während die PKV das 
Äquivalent zum privaten Gesundheitssystem bildet. 


Kann Kl dazu beitragen, gesundheitliche Gewissheiten zu schaffen? 


Ehe wir der Frage nachgehen können, welche Auswirkungen es auf das öffent- 
liche Gesundheitssystem hat, wenn KI gesundheitliche Ungewissheiten redu- 
ziert und gesundheitliche Gewissheiten produziert, müssen wir erst der Frage 
nachgehen, ob und wie Klüberhaupt in der Lage ist bzw. sein wird, dies zutun. 
Unser erster Schritt wird sein, die Begriffe gesundheitliche Unsicherheiten und 
‚gesundheitliche Gewissheiten genauer zu definieren. Danach werden wir aufzei- 
gen, wie aktuelle KI-Anwendungen bereits gegenwärtig dazu beitragen, Un- 
sicherheiten im Gesundheitsbereich zu mindern und bedingte Gesundheits- 
gewissheiten zu schaffen. Zum Schluss werden wir einen Blick in die Zukunft 
werfen und erwägen, wie sich das Potential von KI zur Schaffung gesundheit- 
licher Gewissheiten in den kommenden Jahren entwickeln könnte. 
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Ungewissheit haben wir als den Status bezeichnet, in dem einer Person 
nicht ausreichend verlässliche Informationen zur Verfügung stehen, um ih- 
re gegenwärtige Situation einzuschätzen, zukünftige Entwicklungen zu anti- 
zipieren und auf dieser Grundlage informierte Handlungsentscheidungen zu 
treffen. Insbesondere in gesundheitlichen Kontexten ist diese Art von Unge- 
wissheit äußerst präsent (Hatch 2016). Denn im Regelfall besitzen Personen 
nicht die nötigen Informationen über ihren Körper, um ihre gegenwärtige ge- 
sundheitliche Verfasstheit präzise einzuschätzen, geschweige denn die Ent- 
wicklung ihrer Gesundheit in den nächsten Jahren vorherzusagen. Selbstwenn 
sie umfangreiche Informationen haben, erschwert die hohe Komplexität des 
menschlichen Körpers das Ziehen klarer Schlüsse über ihre aktuelle und zu- 
künftige Gesundheit. Diese gesundheitliche Ungewissheit” hat praktische Kon- 
sequenzen. Etwa, dass viele Menschen einen gesundheitsfördernden Lebens- 
stil führen, um eventuellen Krankheiten vorzubeugen, oder Versicherungen 
abschließen, um im Falle, dass doch eine Krankheit eintritt, finanziell abge- 
sichert zu sein. Gesundheitliche Gewissheit hingegen existiert dort, wo Per- 
sonen davon überzeugt sind, ihren gegenwärtigen Gesundheitszustand und 
zukünftige Gesundheitsentwicklungen gut einschätzen zu können (Aronowitz 
2015). Die Quellen solch gesundheitlicher Gewissheit können vielfältig sein. 
Häufig sind es Informationen über den eigenen Körper oder computergestütz- 
te Vorhersagen, die von den Personen als verlässlich eingestuft werden, die 
einer solchen Gesundheitsgewissheit zugrunde liegen.” Auch eine solche Ge- 
sundheitsgewissheit kann praktische Konsequenzen zeitigen. Auf einige da- 
von werden wir im folgenden Kapitel genauer eingehen. 

Wie Dewey in seinem Werk Streben nach Gewifsheit herausarbeitet, bemü- 
hen sich Menschen seit je her, herrschende Ungewissheiten in handlungsori- 
entierende Gewissheiten zu überführen - und nutzen dazu sämtliche wissen- 
schaftliche und technische Möglichkeiten (Dewey 2001). Dies gilt insbesondere 
auch für den Gesundheitsbereich, wo die aktuellsten wissenschaftlichen sowie 


2 Wenn wir von gesundheitlicher Ungewissheit oder gesundheitlicher Gewissheit sprechen, 
beziehen wir uns stets auf die individuelle Ungewissheit bzw. Gewissheit einer Person 
hinsichtlich ihrer Gesundheit. 

3 An dieser Stelle ich wichtig, erneut zu betonen, dass Gewissheit nicht Richtigkeit be- 
deutet. Nur weil eine Person davon überzeugt ist, dass sie gesund ist und dies in Zu- 
kunft bleiben wird, d.h. ein hohes Maß an gesundheitlicher Gewissheit besitzt, muss 
dies nicht zutreffen. Es kann auch vorkommen, dass Personen fest vom Gegenteil des- 
sen überzeugt sind, was »wirklich der Fall« ist — auch was ihre Gesundheit angeht. 
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technischen Herangehensweisen genutzt werden, um zusätzliche Informatio- 
nen zu erlangen, diese auswerten zu können und dadurch einen Eindruck über 
die gesundheitliche Lage und Zukunft einer Person zu erlangen (Aronowitz 
2015). In jüngster Zeit werden hierfür insbesondere KI-Anwendungen heran- 
gezogen (Tretter et al. 2023). 

Ein eindrückliches Beispiel hierfür sind sogenannte »Digitale Zwillin- 
ge«, d.h. KI-generierte virtuelle Abbilder realer Personen. Diese basieren 
auf den biomedizinischen (z.B. Herzfrequenz, Sauerstoffsättigung im Blut, 
Blutdruck) und Lebensstildaten (z.B. Bewegung, körperliche Aktivität, Schlaf- 
zyklen, Konsummuster, Ernährung) der Repräsentierten. Diese Daten werden 
von Sensoren in Echtzeit aktualisiert und von einer KI modelliert, um dynami- 
sche in-silico-Simulationen von Personen zu erstellen. Obwohl diese Technik 
derzeit vor allem zu Forschungszwecken eingesetzt wird, gibt es doch eine 
Vielzahl von Studien, die ihren Nutzen in der medizinischen Praxis testen 
(Ahmadi-Assalemi u.a. 2020). So werden digitale Zwillinge verwendet, um in 
virtuellen Simulationen zu testen, wie gut ein*e Patient*in auf verschiedene 
Medikamente reagiert und welches die beste Wirksamkeit hat (Björnsson u.a. 
2020); oder um virtuelle Operationen an einer Person durchzuführen und zu 
simulieren, ob und wie sie diese verträgt und welchen Nutzen die Operationen 
für sie haben (Ahmed und Devoto 2021). 

Darüber hinaus versprechen digitale Zwillinge, auf Grundlage der ihnen 
zur Verfügung stehenden Daten und der Extrapolation vergangener und 
gegenwärtiger Gesundheitstrends, personalisierte und hochpräzise Einschät- 
zungen der gesundheitlichen Entwicklung einer Person geben zu können 
- etwa wie hoch deren individuelles Risiko ist, binnen eines bestimmten 
Zeitraums bestimmte Krankheiten zu erleiden (Hafez 2020; Huang, Kim, 
und Schermer 2022). Sind die Prognosefähigkeiten von digitalen Zwillingen 
aktuell noch auf wenige Krankheiten und einen vergleichsweise kurzen Zeit- 
raum begrenzt, ist davon auszugehen, dass schon die nächsten Generationen 
digitale Zwillinge ein breites Krankheitsspektrum und einen langen Zeitraum 
abdecken und in naher Zukunft bereits ein vollständiges Gesundheitspro- 
fil von Einzelpersonen, inklusive all ihrer individuellen Krankheitsrisiken, 
erstellen werden können. 

Natürlich ist nicht davon auszugehen, dass digitale Zwillinge oder ver- 
gleichbare KI-Systeme den Gesundheitsverlauf einer Person jemals mit 
absoluter Präzision prognostizieren oder ihre Krankheitsrisiken zweifelsfrei 
bestimmen können. Bereits das Vorliegen unvollständiger oder verzerrter 
Datensätze limitiert die Genauigkeit, die KI-Prognosen erreichen können, 
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maßgeblich. Doch liefern derartige KI-Systeme Erwartungswerte, die auf 
präzisen Daten und hochfunktionalen Modellen basieren, folglich eine große 
Plausibilität besitzen und den Personen, die mit ihnen interagieren - in ers- 
ter Linie den Patient*innen und dem ärztlichen Personal - gesundheitliche 
Gewissheit verschaffen. 


Wie stellen neue Gesundheitsgewissheiten die Gesundheitssysteme 
vor Herausforderungen? 


Selbst wenn KI-Prognosen niemals unfehlbar und die entstehenden Gesund- 
heitsgewissheiten niemals unanfechtbar sind, bergen sie doch große Chan- 
cen.* Wo etwa Patient*innen davon überzeugt sind, in naher Zukunft an ei- 
ner Krankheit zu erkranken, wenn sie ihren gegenwärtigen Lebensstil beibe- 
halten, kann diese Gewissheit - unabhängig davon, wie richtig oder falsch sie 
ist - sie zu einem gesünderen Lebenswandel motivieren und dazu beitragen, 
einer eventuellen Krankheit tatsächlich präventiv entgegenzuwirken. Im Ide- 
alfall können Krankheiten durch solch vorausschauende Interventionen voll- 
ständig verhindert und Personen eine Menge Leid erspart werden (Vaishya u.a. 
2020). Auch für die leitenden Institutionen der Gesundheitssysteme stellen 
präzise KI-Prognosen eine große Chance dar. Denn wo sie sich auf Progno- 
sen verlassen und präzise einschätzen können, wie viele Personen in Zukunft 
erkranken werden und medizinisch behandelt werden müssen, wird es Ge- 
sundheitssystemen besser denn zuvor möglich, weitsichtiger und sicherer zu 
planen (Panch, Szolovits, und Atun 2018; Schwalbe und Wahl 2020). Sie kön- 
nen notwendige Behandlungskapazitäten und finanzielle Ressourcen freiset- 
zen oder schaffen und dort abziehen, wo sie nicht benötigt werden. So kann 
der medizinische Einsatz von KI den vorherrschenden Kostendruck abmildern 
und die Gesundheitssysteme unterstützen (Knorre, Müller-Peters, und Wag- 
ner 2020).° 


4 Es ist zu erwarten, dass selbst Prognosen, die »nur« zu 80 Prozent verlässlich sind, oder 
»nur« 75 % prazise sind, Patient*innen helfen, Entscheidungen zu treffen und zu han- 
deln. Dies gilt umso mehr, wenn man davon ausgeht, dass die Forschung zu KI in der 
Medizin in den kommenden Jahren und Jahrzehnten weiter so voranschreiten wird wie 
in den letzten Jahren (Pouly u.a. 2020) und immer noch präzisere Prädiktionen erlau- 
ben wird. 

5 Zugegebenermaßen erweisen sich die Auswirkungen dieser neuen KI-Pradiktionen 
auf Ebene der Gesundheitssysteme nicht so einschneidend wie auf der Ebene der in- 
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So positiv sich das KI-gestützte Schaffen gesundheitlicher Gewissheiten 
auf den Gesundheitsbereich auswirken kann, so schwerwiegende Bedenken 
weckt es auf der anderen Seite (de Boer 2020; Tretter et al. 2021; Margetts und 
Dorobantu 2019; Coeckelbergh 2022). Eine sich besonders aufdrangende Frage 
lautet: Wie wirken sich wachsende gesundheitliche Gewissheiten auf Gesund- 
heitssysteme und insbesondere deren finanzielle Stabilitat aus? 

Wir werden diese Frage am Beispiel des dualen Gesundheitssystems in 
Deutschland untersuchen, das sich aus der gesetzlichen Krankenversiche- 
rung (GKV) und der privaten Krankenversicherung (PKV) zusammensetzt 
und die Möglichkeit bietet, zwischen beiden zu wechseln. Während beide 
Versicherungssysteme ihren Versicherten prinzipiell eine ähnliche Absiche- 
rung gegen Krankheitsrisiken bieten, unterscheiden sie sich vor allem in der 
Art und Weise, wie sie ihre Prämien bzw. Beiträge berechnen. Nachdem wir 
diesen Unterschied erläutert und erörtert haben, welche Versicherungsform 
für bestimmte Personengruppen attraktiv sein könnte, werden wir darlegen, 
wie neu erlangte Gesundheitsgewissheiten das Phänomen der adversen Se- 
lektion verstärken können und welche Risiken dies für die Finanzierung der 
gesetzlichen Krankenversicherungen darstellt. 


Deutschlands duales Gesundheitssystem - GKV und PKV 


Die Gesundheitssysteme nahezu aller westlichen Länder sind solidarisch fi- 
nanziert (Rice 2021; Schölkopfund Grimmeisen 2021), d.h. ihre Mitglieder zah- 
len eine regelmäßige Prämie in einen gemeinsamen Versicherungspool ein. 
Bei Erkrankung einer Person werden die anfallenden Kosten für Behandlung, 
Rehabilitation und sonstige Ausgaben aus diesem gemeinsamen Topf begli- 
chen. Die Mitglieder unterstützen sich also durch ihre regelmäßigen Prämien 
solidarisch. 

Das deutsche Gesundheitssystem stützt sich hauptsächlich auf die gesetz- 
liche Krankenversicherung (GKV) und die (substitutive) private Krankenver- 
sicherung (PKV). Diese unterscheiden sich grundlegend in der Berechnung 


dividuellen Gesundheit von Einzelpersonen. Denn gerade die Institutionen des Ge- 
sundheitswesens haben Zugriff auf umfassende statistische Gesundheits- und Krank- 
heitsdaten. Und da auf institutioneller Ebene weniger interessiert, wer genau woran 
erkranken wird, sondern eher, wie viele Personen insgesamt woran erkranken werden, 
reichen statistische Gesundheitsdaten schon sehr weit. Nichtsdestotrotz können die 
durch KI präzisierten Informationsgewinne auch auf der institutionellen Ebene des Ge- 
sundheitssystems nochmal neue Planungssicherheit ermöglichen. 
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der individuellen Prämien. Bei der PKV richtet sich die Prämienhöhe typi- 
scherweise nach dem Krankheitsrisiko des Versicherten (Müller-Peters und 
Wagner 2017). Ist das Risiko hoch, steigen auch die Prämien, und umgekehrt. 
Dieses individuelle Krankheitsrisiko ermitteln private Krankenversicherun- 
gen anhand spezifischer statistischer und verhaltensbezogener Daten, wie 
beispielsweise chronische Vorerkrankungen, das Alter und ob die versicherte 
Person raucht (Albrecht 2018; Hoffmann 2021). 

Im Gegensatz dazu folgt die Prämienberechnung in der GKV zwei Umver- 
teilungs- oder Subventionsmechanismen. Erstens orientiert sich die Prämi- 
enhöhe nicht am individuellen Krankheitsrisiko. Das bedeutet, dass Personen 
mit einem hohen Risiko nicht notwendigerweise höhere Prämien zahlen als 
solche mit einem geringeren Krankheitsrisiko. Dieses Prinzip der »subven- 
tionierenden Risikosolidarität« (Lehtonen und Liukko 2011) soll verhindern, 
dass Personen mit einem hohen Krankheitsrisiko durch hohe Versicherungs- 
prämien zusätzlich belastet werden. Zweitens richten sich die Prämien nach 
dem individuellen Einkommen. Personen mit einem hohen Einkommen zah- 
len höhere Prämien als Personen mit einem niedrigen Einkommen. Mit die- 
ser »subventionierenden Einkommenssolidarität« (Lehtonen und Liukko 2011) 
wird angestrebt, dass Personen mit einem niedrigen Einkommen nicht einen 
überproportional hohen Teil ihres Einkommens für ihre Gesundheitsvorsorge 
aufwenden müssen, während Personen mit einem hohen Einkommen dafür 
nur einen verhältnismäßig kleinen Teil ihres Einkommens benötigen. Aktuell 
müssen die meisten Versicherten in der GKV mindestens 14,6 % ihres beitrags- 
pflichtigen Einkommens abführen ($ 241 SGB V). Dabei wird die Berechnungs- 
grundlage durch die sogenannte Beitragsbemessungsgrenze — aktuell 59.850 
Euro (Bundesregierung 2023) - nach oben begrenzt ($ 223 Abs. 3 SGB V). Die 
Beiträge werden in Gesundheitsfonds gesammelt und anschließend nach be- 
stimmten Risikostrukturen an die gesetzlichen Krankenkassen verteilt ($ 266 
SGB V). Erhalt eine Krankenkasse dabei nicht genügend Mittel, etwa weil sie 
Personen mit sehr hohen Krankheitsrisiken versichert, muss sie einen eigenen 
Zusatzbeitrag erheben ($ 242 SGB V). Es gibt jedoch keinen Regelungsrahmen, 
der die Höhe des Krankheitsrisikos und den einkommensabhängigen Beitrag 
miteinander verknüpft. 

In den meisten westlichen Ländern, mit Ausnahme der Vereinigten Staa- 
ten, gibt es obligatorische öffentliche Gesundheitssysteme (Rice 2021; Schöl- 
kopf und Grimmeisen 2021). In fast allen diesen Ländern haben die Bürger”in- 
nen die Möglichkeit, zusätzliche private Krankenversicherungen für Leistun- 
gen abzuschließen, die nicht oder nicht vollständig durch die öffentliche Ge- 
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sundheitsversorgung abgedeckt werden. In einigen Landern, darunter auch 
Deutschland, können Bürger*innen auch vollständig in die private Kranken- 
versicherung wechseln. Aktuell sind in Deutschland jedoch 88,2% der Bür- 
ger*innen in der GKV versichert und nur 5,2% ausschließlich privat (GKV- 
Spitzenverband 2021). 


Interessen der Versicherten 


Die Teilnahme an Gesundheitssystemen bietet Versicherten den erheblichen 
Vorteil, im Krankheitsfall finanziell abgesichert zu sein und nicht unmittel- 
bar für anfallende Behandlungskosten aufkommen zu müssen. Im Gegenzug 
entstehen den Versicherten durch regelmäßige Beitragszahlungen Kosten. Bei 
der Auswahl ihrer Versicherungsform nehmen viele Menschen eine Abwägung 
der anfallenden Kosten und der zu erwartenden Leistungen vor (Schmitz 2017; 
Richter, Ruß und Schelling 2019; Zerth 2020), um die Option zu wählen, die 
ihnen den größtmöglichen Gesamtnutzen bietet (Corea 2019). Da die Leistun- 
gen in GKV und PKV im Grunde gleich sind - beide bieten eine Grundabsi- 
cherung; die PKV bietet einige Zusatzleistungen (vgl. $ 11 SGB V, $ 192 VVG, $ 
152 VAG) (Becker und Kingreen 2022) -, sind es primär die Kosten, die die Ent- 
scheidung zwischen beiden Versicherungsformen beeinflussen (Schmitz 2017; 
Zerth 2020; Lünich und Starke 2021; Schmitz 2017; Zerth 2020). 

Solange es nicht möglich ist, den Gesundheitsverlauf einer Einzelperson 
präzise zu prognostizieren und somit eine gesundheitliche Ungewissheit be- 
steht, gleicht die Wahl zwischen GKV und PKV einer »Lotterie«. Weder die Ein- 
zelpersonen noch die Versicherungen können erahnen, wie sich die Gesund- 
heit einer Person entwickeln wird und wie hoch die Prämien sein müssen, um 
diese Kosten zu decken (Jong 2021). Ein hypothetisches Szenario, indem Klin 
der Lage ist, den Gesundheitsverlauf von Einzelpersonen präzise vorherzusa- 
gen und gesundheitliche Gewissheit zu schaffen, würde diese Situation dras- 
tisch verändern. Denn für die Person, der die KI einen ungünstigen Gesund- 
heitsverlauf prognostiziert, läge es dann nahe, über die GKV versichert zu sein. 
Hingegen wäre es für Personen, denen eine günstige Gesundheitsentwicklung 
und damit ein sehr geringes Krankheitsrisiko prognostiziert wird, vorteilhaft, 
sich privat zu versichern und eine stärker individualisierte Prämie zu zahlen. 
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Adverse Selektion und Finanzierungsprobleme für 
öffentliche Gesundheitssysteme 


Wo Einzelpersonen Gewissheit über ihre gesundheitliche Entwicklung besit- 
zen, ermöglicht ihnen dies eine genauere Kosten-Nutzen-Bewertung bei ihrer 
Versicherungswahl als bisher. Diese Möglichkeit kann für Personen mit güns- 
tigen Gesundheitsprognosen und »geringem Risiko« von Vorteil sein. Für sie 
könnte ein Anreiz bestehen, in die PKV zu wechseln, in der die Offenlegung ih- 
res prognostizierten Gesundheitsverlaufs bzw. ihrer geringen Krankheitsrisi- 
ken möglicherweise zu niedrigeren Prämienzahlungen führen kann. Für Per- 
sonen mit ungünstigen Gesundheitsprognosen und deutlich erhöhtem Krank- 
heitsrisiko, die bereits in der PKV sind, könnte die neue gesundheitliche Ge- 
wissheit dagegen ein Problem darstellen. Sie müssen mit einem erheblichen 
Anstieg ihrer individuellen Prämien rechnen, wenn auch die PKV Zugang zu 
ihren Gesundheitsprädiktionen erhält - selbst unter den engeren Vorausset- 
zungen für die Prämienanpassung in der PKV nach $ 203 Abs. 2 VVG.° 

Diese (gegenwärtigen, aber vor allem zukünftigen) Möglichkeiten, den 
eigenen Gesundheitsverlauf präzise zu prognostizieren, können auch eine 
große Herausforderung für die finanzielle Stabilität der öffentlichen Gesund- 
heitssysteme als Ganzes darstellen (van Kleef, Eijkenaar, und van Vliet 2020). 
Dies gilt besonders für duale Systeme wie das Deutschlands, in denen die Bür- 
ger*innen die Möglichkeit haben, aus der öffentlichen GKV auszusteigen und 
stattdessen eine private Krankenversicherung abzuschließen. Ein erheblicher 
Teil der Personen mit günstigen Gesundheitsprognosen hätte einen Anreiz, 
von dieser Möglichkeit Gebrauch zu machen und sich privat zu versichern, 
um Geld zu sparen. Umgekehrt haben Personen, denen ein negativer Gesund- 
heitsverlauft vorausgesagt wird, in der PKV ein Interesse daran, in die GKV 
zu wechseln. Dieser Effekt löst eine spaltende Entwicklung aus: Personen 
mit schlechteren gesundheitlichen Prognosen verbleiben in der GKV oder 
wechseln dorthin, während Personen mit günstigen Gesundheitsprognosen 
in die PKV wechseln oder privat versichert bleiben, wenn sie es bereits sind. 


6 Danach ist eine einseitige Prämienanpassung durch private Versicherungsunterneh- 
men, die besonders an die Versicherungsverträge gebunden sind — was bei der substi- 
tutiven PKV regelmäßig der Fall ist—, nur möglich, wenn die wesentlichen Rechnungs- 
grundlagen der Sterbewahrscheinlichkeit und der Versicherungsleistungen sich nach- 
haltig verändern und dies durch einen unabhängigen Treuhänder bestätigt wurde. 
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Dieses Phanomen ist ein Fall von »adverser Selektion« (Bitter und Uphues 
2017). 

Im Fall der GVK ist adverse Selektion ein Problem, da sie die Allokation 
zwischen Personen mit positiven Gesundheitsprognosen und »geringem Ri- 
siko« und Personen mit negativen gesundheitlichen Prognosen und »hohem 
Risiko« allmahlich in Richtung eines hoheren Durchschnittsrisikos verschie- 
ben könnte, während Personen mit geringeren Risiken in die PKV abwandern. 
Wenn das durchschnittliche Risiko (pro versicherter Person) steigt, steigen 
analog die durchschnittlich erwarteten Kosten (pro versicherter Person). 
Da das Versicherungssystem seine Einnahmen und Ausgaben langfristig 
ausgeglichen halten muss (vgl. $ 220 Abs. 1 SGB V), führt dies zu steigenden 
Beiträgen - wenn am bestehenden Leistungsumfang festgehalten werden soll. 
Wenn die Beiträge steigen, kann dies eine negative Abwärtsspirale in Gang 
setzen, da die höheren Beiträge bedeuten würden, dass nun noch mehr Per- 
sonen einen Anreiz haben, aus der Versicherung auszutreten - der Kreislauf 
beginnt von neuem (Cutler und Reber 1998; Cutler und Zeckhauser 1998). 

Im Hinblick auf die Finanzierung der GKV (Bitter und Uphues 2017) ist es 
außerdem wichtig zu bedenken, dass »gesündere« Personen im Durchschnitt 
mehr in die gesetzliche Krankenversicherung einzahlen, als sie persönlich 
an gedeckten Krankenbehandlungskosten zurückerhalten. Somit erhält die 
Krankenkasse einen Nettoeinnahmegewinn von Personen mit günstigem 
Gesundheitsverlauf, der es ihr ermöglicht, Personen mit negativem Gesund- 
heitsverlauf zu subventionieren, die mehr Kosten als Einnahmen verursachen 
(da ihr Risiko höher ist als das, für das sie zahlen). Der Wettbewerb zwischen 
GKV und PKV konzentriert sich entsprechend typischerweise auf junge, 
alleinstehende Personen mit hohem Einkommen (Viellehner 2017). Um Ein- 
nahmeverluste aufgrund von adverser Selektion auszugleichen, muss dieGKV 
daher die Beiträge anheben, was bereits dem Grundsatz der Beitragsstabilität 
($ 71 Abs. 1 SGB V) widerspricht und außerdem den Zweck der GKV gefährdet, 
den allgemeinen Zugang zu medizinischer Behandlung insbesondere für 
arme oder schutzbedürftige Personen sicherzustellen (Prasuhn und Wilke 
2021). Lässt man diese Eskalationsdynamik ungehindert fortlaufen, birgt dies 
die Gefahr, die Finanzierung des Gesundheitssystems substanziell zu gefähr- 
den, da die Prämien in ungeahnte Höhen steigen könnten und die Gruppe 
derer, die sie bezahlen können, kontinuierlich schrumpfen würde.’ Dieser 


7 Zwar existieren regulatorische Konzepte, welche die Ausrichtung von Versicherungs- 
entscheidungen anhand von medizinischen Gewissheiten begrenzen, z.B. durch allge- 
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Effekt könnte schließlich den Gesetzgeber zum Eingreifen veranlassen, da 
die finanzielle Stabilität der GKV auch nach der Rechtsprechung des BVerfG 
ein erhebliches Interesse von Verfassungsrang darstellt (BVerfG, Beschl. v. 
31.10.1984 - 1 BvR 35/82, 1 BvR 356/82, 1 BvR 794/82) (Schaks 2007). 


Fazit 


Basierend auf der Beobachtung, dass KI immer besser darin wird, detaillierte 
Prognosen über die gesundheitliche Entwicklung von Individuen zu erstellen, 
untersucht dieser Beitrag die möglichen Auswirkungen solcher Prädiktions- 
fortschritte auf die finanzielle Stabilität von Gesundheitssystemen. Denn in 
einem zukünftigen Szenario, in dem KI hochpräzise und äußerst verlässliche 
Vorhersagen über den individuellen Gesundheitsverlauf treffen kann, erlan- 
gen Einzelne eine Art subjektive Gewissheit über ihren Gesundheitszustand. 
Diese Gewissheit können sie verwenden, um ihre Wahl zwischen GKV und PKV 
so optimal und kosteneffizient wie möglich zu gestalten. Für Teilnehmer*in- 
nen an öffentlichen Gesundheitssystemen spielen beitragsentscheidende Fak- 
toren schon jetzt eine erhebliche Rolle (Schmitz 2017; Zerth 2020). 

Der Unterschied in der Konzeption der PKV, die sich aufrisikobasierte Ver- 
sicherungsprämien stützt, und der GKV, welche einkommensbasierte Prämi- 
en verwendet, könnte klare Anreize schaffen, dass Personen mit günstigen Ge- 
sundheitsprognosen und niedrigen Krankheitsrisiken von der GKV zur PKV 
wechseln. Entscheidend für diesen Wechsel ist der Vergleich der Kosten, die 
diese Personen für die Absicherung ihres geringen Krankheitsrisikos in der 
GKV und PKV aufbringen müssten. Bei den einkommensabhängigen GKV- 
Prämien würde die Person einen Betrag x zahlen (14,6 % des beitragspflichti- 
gen Einkommens bis maximal zur Beitragsbemessungsgrenze von 59.850 Eu- 
ro pro Jahr für 2023, zzgl. kassenindividueller Zusatzbeiträge), bei den risi- 
kobasierten PKV-Prämien einen Betrag y (bemessen anhand definierter Ri- 
sikobemessungsgrundlagen). Solange y geringer als x ist, besteht zumindest 
ein klarer finanzieller Anreiz zum Wechsel. Tendenziell könnten daher Perso- 
nen mit hohem Einkommen und günstigen Gesundheitsprognosen dazu nei- 


meine Begrenzung der Wahlmöglichkeit zwischen GKV und PKV über Versicherungs- 
freiheit oder durch die Beschränkung der Prämienberechnung in der PKV auf spezi- 
fische Rechengrößen (Brömmelmeyer 2017). Diese können den Effekt einer adversen 
Selektion jedoch nicht nachhaltig eingrenzen. 
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gen, die GKV zu verlassen und sich in der PKV zu versichern. Im Gegensatz 
dazu hatten Personen mit negativen Gesundheitsprognosen, bei denen x ge- 
ringer als y ist, einen Anreiz, die einkommensabhangigen Pramien der GKV 
zu zahlen. Insgesamt könnte dies dazu führen, dass das Beitragsaufkommen 
der GKV erheblich sinkt, während die Ausgaben steigen, da sich hohe Krank- 
heitsrisiken in der GKV ansammeln. Dieses Phänomen der adversen Selektion 
könnte die finanzielle Stabilität der GKV nachhaltig bedrohen. 
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Algorithmische Differenzierung und 
Diskriminierung aus Sicht der Menschenwürde 


Carsten Orwat 


1. Einleitung 


Die Effizienz von Entscheidungen zur Differenzierung von Personen soll mit 
Anwendungen der Künstlichen Intelligenz (KI), algorithmischen Differen- 
zierungen und automatisierten Entscheidungssystemen (AES) verbessert 
werden. Allerdings sind damit auch neue Risiken für die Grundrechte verbun- 
den, einschließlich des Risikos von Diskriminierungen und Verletzungen der 
Menschenwürde. Das Antidiskriminierungsrecht soll nicht nur Gerechtigkeit 
und Gleichbehandlung sicherstellen, sondern auch die Möglichkeiten der frei- 
en Entfaltung der Persönlichkeit schaffen und die Menschenwürde schützen. 
Der Beitrag beleuchtet daher Entwicklungen der KI und von algorithmischen 
Differenzierungen aus der Perspektive der Menschenwürde. 

Algorithmen werden zunehmend zur Unterstützung und automatischen 
Durchführung von Entscheidungen über die Differenzierung von Menschen 
eingesetzt, bei so unterschiedlichen Anwendungsfeldern wie z.B. Kreditver- 
gabe, Wohnungssuche, Sozialleistungsbemessung oder Gerichtsentscheidun- 
gen. Solche Differenzierungen wirken sich dann auf die Verfügbarkeit und 
Verteilung von Produkten, Diensten, Positionen, Chancen, Vorteilen oder 
Belastungen aus, die essentiell für die Persönlichkeitsentfaltung und Realisie- 
rungen von Autonomie und Freiheit sind. Hier kommen dann Anwendungen 
zum Einsatz, bei denen maschinelles Lernen als Analysemethode bei Data Mi- 
ning, Profiling oder Predictive Analytics angewandt wird und die Ergebnisse 
der Analysemethoden als Modelle bzw. Algorithmen in Entscheidungspro- 
zessen eingesetzt werden. Dies geschieht entweder als Unterstützung und 
Beratung menschlicher Entscheidender oder als (voll-Jautomatisierte Ent- 
scheidungssysteme. 
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2. Algorithmische Differenzierung und Diskriminierung 
2.1 Ursachen und Formen von algorithmischen Bias 


Die Ursachen von Bias bzw. Verzerrungen bei der Verwendung von Algorith- 
men, insbesondere des maschinellen Lernens, sind vielfältig. Sie ergeben 
sich aus menschlichen Entscheidungen über die verwendete Datenbasis, die 
Entwicklung, den Einsatz oder die Anpassung von Algorithmen. Zu den am 
häufigsten genannten Ursachen von Bias gehören die mit historischen Un- 
gleichheiten und Ungleichbehandlungen kontaminierte Trainingsdatensätze, 
die Auswahl ungeeigneter Messgrößen bzw. Label, ungeeignet entschiedene 
technische Trade-offs oder die Anwendung von Algorithmen in Bereichen, für 
die sie nicht trainiert bzw. optimiert wurden (z.B. Mehrabi et al. 2021, Pessach 
und Shmueli 2022). 

Bias können dazu führen, dass Produkte und Dienste für verschiedene 
Bevölkerungsgruppen unterschiedlich gut funktionieren. Oder algorithmi- 
sche Modelle, die bei Entscheidungen über die Differenzierung von Personen 
über Zugänge und Verteilung von Gütern, Positionen oder Freiheiten einge- 
setzt werden, führen zu Ungleichbehandlungen bei Betroffenen. Ein weiteres 
Problem sind Stereotypisierungen bei Generativer KI (wie z.B. Chat-GPT), 
vor allem wenn Entscheidungen auf Grundlage ihrer Ergebnisse getroffen 
werden (z.B. automatisiert erstellte Zusammenfassung von Bewerbungen 
oder Anträgen). Mittlerweile finden sich zahlreiche Beispiele für Bias und Dis- 
kriminierungsrisiken durch Algorithmen, von denen hier nur einige wenige 
angeführt werden können, etwa bei Gesichtsanalysen (Buolamwini und Gebru 
2018), bei der Zuweisung zu bestimmten Therapien in der Medizin (Obermeyer 
etal. 2019), bei KI-basierten Analysen von Videointerviews im Personalbereich 
(Köchling et al. 2021) oder für Stereotypisierung bei der Sprachverarbeitung 
(Bender et al. 2021) (weitere Beispiele in AIAAIC Repository oder Orwat 2019, 
Kapitel 4). 


2.2 Technische Lösungen und Restrisiken 


Als Reaktion auf algorithmische Diskriminierungsrisiken werden in Wissen- 
schaft, Forschung und Praxis große Mühen darauf gerichtet, Algorithmen 
diskriminierungsärmer bzw. »fairer« zu gestalten. Dabei wird vor allem 
versucht, Bias in Datensätzen zu beseitigen und Modelle zu optimieren. 
Ferner sind zahlreiche mathematische Fairness-Definitionen bzw. Fairness- 
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Metriken entwickelt worden, um Ungleichbehandlungen quantitativ aus- 
zudrücken und um damit Systeme zu optimieren und zu vergleichen (z.B. 
Pessach und Shmueli 2022). Allerdings sind diese in ihren Konsequenzen für 
gesellschaftliche Gerechtigkeit und Anti-Diskriminierung bisher noch wenig 
in der Öffentlichkeit diskutiert worden. 

Des Weiteren sind die technischen Lösungen des »debiasing« in mehrfa- 
cher Weise begrenzt. So sind verschiedene Fairness-Metriken nicht gleichzei- 
tig erfüllbar. Entwickelnde und Anbietende müssen verschiedene Trade-offs 
entscheiden, insbesondere ob und welche Fairness-Definitionen verwendet 
werden, welche Grenzwerte als Restrisiken für akzeptabel gehalten werden, 
ebenso sind Abwägungen zwischen einzelnen Zielen und Metriken zu treffen, 
wie z.B. zwischen Genauigkeit der Ermittlung der Differenzierungsziele und 
Diskriminierungsrisiken (z.B. Mehrabi et al. 2021, Pessach und Shmueli 2022). 

Einige Fairness-Metriken sind Verhältniskennziffern, die aus den Fehler- 
raten »Falsch-Negative« und »Falsch-Positive« und Raten von richtig erkann- 
ten Klassifizierungen mit Bezug zu bestimmten Bevölkerungsmerkmalen 
gebildet werden. Bisher ist jedoch noch unklar, wie gesellschaftlich mit die- 
sen Fairness-Metriken umgegangen wird, vor allem hinsichtlich der Niveaus 
an zu akzeptierenden Diskriminierungsrisiken für die Gesellschaft, etwa 
wer sie festlegt oder in welcher Höhe sie festgelegt werden. Nach Meinung 
der Europäischen Agentur für Menschenrechte kann, auch beim Vorliegen 
von Fairness-Metriken, nur von Fall zu Fall entschieden werden, wann eine 
ausreichend signifikante Diskriminierung vorliegt, nicht aber anhand der 
Bestimmung eines abstrakten Grenzwertes (FRA 2022, 25). 

Im Entwurf der KI-Verordnung der Europäischen Union (2021/0106 
(COM); KI-VO-E) wird zwar auf Parameter und Metriken verwiesen, aber 
nicht geklärt, wer akzeptable Fehlerraten und Grenzwerte festlegt. Zudem 
ermöglichen Formulierungen wie »Restrisiko« oder »akzeptabel« bzw. »ver- 
tretbar« (Artikel 9 (4) KI-VO-E) oder »angemessenes Maß an Genauigkeit« 
(Artikel 15 (1) KI-VO-E), dass Risikovermeidung mit Wirtschaftlichkeitsüber- 
legungen abgewogen werden kann. Dies ist vor dem Hintergrund zu sehen, 
dass fiir das Testen der KI-Systeme, die Risikovermeidung und andere re- 
gulatorische Pflichten Kosten entstehen. Der Entwurf der KI-VO lässt offen, 
ob die Europäische Kommission, Standardisierungsorganisationen, Entwi- 
ckelnde, Anbietende, Anwendende oder Einrichtungen, die die »compliance« 
zertifizieren, die normativen Entscheidungen über Diskriminierungsniveaus 
und damit über die gesellschaftliche Realisierung von Gerechtigkeit tref- 
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fen. Dies kann dazu führen, dass Restrisiken von Diskriminierungen auf 
gesellschaftlich nicht festgelegtem Niveau wahrscheinlich sind. 

Im Gegensatz zu menschlichen Entscheidenden, bei denen eher mit 
punktuellen Diskriminierungen zu rechnen ist, können einzelne AES und 
KI-Systeme große Reichweiten haben (z.B. durch Marktkonzentration oder 
bei Verwendung eines Systems in vielen Verwaltungen). Trotz scheinbar ge- 
ringen Fehlerraten kann dies zu systematischen Diskriminierungen führen. 
Damit stellt sich die Frage, ob die Verminderung von Diskriminierungen oder 
Vorurteilen, die gegenüber menschlichen Entscheidenden mit Algorithmen 
angestrebt wird, nicht wieder durch den Reichweiteneffekt der Restrisiken 
aufgewogen oder sogar überwogen werden können. 


2.3 Restrisiken und Antidiskriminierungsrecht 


Die Restrisiken müssen im Lichte der Diskriminierungsverbote des Antidis- 
kriminierungsrechts betrachtet werden. Zu rechtlich definierten Diskrimi- 
nierungen führen Bias-Probleme, wenn bei Differenzierungen verzerrende 
Algorithmen verwendet werden und es dadurch zu ungerechtfertigten Un- 
gleichbehandlungen durch die Nutzung von rechtlich geschützten Merkmalen 
(z.B. Geschlecht, ethnische Herkunft, Religion, Behinderung, Alter oder sexu- 
elle Identität) oder scheinbar neutralen Merkmalen, Verfahren, Vorschriften 
oder Praktiken, die aber einen Zusammenhang zu den geschützten Merkma- 
len haben, kommt (Hacker 2018, von Ungern-Sternberg 2022). 

Das Antidiskriminierungsrecht zeigt jedoch Schwächen im Umgang mit 
algorithmischen Diskriminierungen, denn angesichts algorithmischer, oft 
personalisierter oder individualisierter, Differenzierungen kann es für ein- 
zelne Betroffene schwierig sein, eine Ungleichbehandlung im Verhältnis zu 
anderen Betroffenen als solche wahrzunehmen und die rechtlich notwendi- 
gen ersten Nachweise für eine Schlechterstellung gegenüber vergleichbaren 
anderen Personen zu erbringen. Diese sind jedoch Voraussetzung dafür, dass 
rechtliche Verfahren eingeleitet werden können, auch wenn dann die einer 
Diskriminierung beschuldigte Person oder Einrichtung die Beweislast hat, 
dass sie nicht diskriminiert (Orwat 2019, 107-09 m.w.N., von Ungern-Stern- 
berg 2022, 1141f.). Die ohnehin hohen Hürden für betroffene Individuen, die 
oft verhindern, dass es zu einem rechtlichen Diskriminierungsfall kommt, 
werden so noch weiter erhöht. 
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3. Verständnis der Menschenwürde im Verfassungsrecht 


Die Menschenwürde gilt oft als ein abstraktes und unterschiedlich interpre- 
tierbares Konzept (z.B. Mahlmann 2008). Dies wird oft kritisch gegen ihre Ver- 
wendung eingewandt. Allerdings ist die Menschenwürde in vielen Menschen- 
und Grundrechtsdokumenten enthalten und durch Umsetzung in Rechtssys- 
temen und der Rechtsprechung konkretisiert worden (z.B. McCrudden 2008, 
Mahlmann 2012). Im Folgenden wird daher Bezug auf die Entscheidungen des 
Bundesverfassungsgerichts (BVerfGE) genommen. 

Danach ist die Menschenwürde ein »fundamentaler Wert- und Achtungs- 
anspruch [...], der jedem Menschen zukommt.« (BVerfGE 87, 209, Rn. 109). Sie 
umfasst vor allem die Wahrung der personalen Individualität, Identität und 
Integrität sowie die elementare Rechtsgleichheit (BVerfGE 144, 20, Leitsatz 3 
a, Rn. 539). »Dem liegt eine Vorstellung vom Menschen zugrunde, die diesen 
als Person begreift, die in Freiheit über sich selbst bestimmen und ihr Schick- 
sal eigenverantwortlich gestalten kann« (ebd., Rn. 539). Die Menschenwürde 
ist dem Menschen inhärent. »Jeder besitzt sie, ohne Rücksicht auf seine Ei- 
genschaften, seine Leistungen und seinen sozialen Status.« (BVerfGE 87, 209, 
Rn. 107). 

Zur weiteren Konkretisierung der Menschenwürde wurde die so genannte 
»Objektformel« entwickelt (Hong 2019, 672-90). Danach ist es mit der Men- 
schenwürde unvereinbar, den Menschen »zum bloßen Objekt« staatlichen 
Handelns zu machen (BVerfGE 27, 1, S. 6 und weitere Entscheidungen). Nach 
der Objektformel darf der Mensch nicht wie eine Sache behandelt, verding- 
licht oder zu einem bloßen Gegenstand herabgewürdigt werden (Hong 2019, 
418f. m.w.N.). Das Bundesverfassungsgericht hat die Objektformel mit der 
Subjektformel weiterentwickelt, wonach es untersagt ist, einzelne Menschen 
einer Behandlung auszusetzen, die ihre Subjektqualitat grundsätzlich in Fra- 
ge stellt, indem sie die Achtung des Wertes vermissen lässt, der ihnen um ihrer 
selbst willen zukommt (nach Hong 2022, Rn. 26 m.w.N., ausführlich in Hong 
2019, 421-28). Nach Höfling (2021, Rn. 16) ist zur Bestimmung einer Verlet- 
zung der Menschenwürde in konkreten Entscheidungssituationen zu fragen, 
ob der Subjektstatus eines Menschen trotz Verobjektivierung in Unterord- 
nungs- und Abhängigkeitsverhältnissen durch Kompensationsmechanismen 
noch gesichert ist. 

Bestimmte Formen von Diskriminierung stellen direkt eine Verletzung der 
Menschenwürde dar. Ein Verstoß gegen Art. 1 (1) Grundgesetz GG wird unter 
anderem bei einer unmittelbaren Diskriminierung durch Eingriffe in die je- 
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dem zustehenden Freiheitsgrundrechte wegen der in Art. 3 (3) GG genannten 
Kriterien gesehen (Herdegen 2022, Rn. 120). Höfling u.a. sehen eine verbote- 
ne Menschenwürdeverletzung vor allem in rassistischer Diskriminierung und 
ähnlichen demütigen Ungleichbehandlungen (Höfling 2021, Rn. 35) (siehe da- 
zu vor allem auch BVerfGE 144, 20, Rn. 541). Hillgruber betont, dass eine Ver- 
letzung der Menschenwürde nicht nur vorliegt, wenn Menschen bestimmter 
»Rasse«, Hautfarbe, Religion oder Geschlecht als »minderwertig« angesehen 
werden, sondern auch bei Diskriminierungen von Menschen aufgrund einer 
körperlichen und geistigen Behinderung, insbesondere wenn eine Ausgren- 
zung wegen ihrer Behinderung droht (Hillgruber 2023, Rn. 17). Die genannten 
Merkmale sind besonders relevant, da sie zum einen unveränderliche und per- 
sönlichkeitskonstituierende Merkmale sind. Zum anderen sind sie historisch 
als Abgrenzung von den Gräueltaten des nationalsozialistischen Unrechtsre- 
gimes begründet (Lehner 2013, 226-48, Hong 2019, 407). 

Eine weitere Konkretisierung der Menschenwürde erfolgt durch ihre 
Weiterentwicklung zum verfassungsrechtlichen allgemeinen Persönlichkeits- 
recht, aus dem vor allem das zur weiteren Realisierung des Menschenwürde- 
schutzes entwickelte Recht aufinformationelle Selbstbestimmung, die Diskri- 
minierungsverbote, aber auch das Recht auf Selbstdarstellung (Britz 2007) für 
die nachfolgenden Betrachtungen relevant sind. Das Antidiskriminierungs- 
recht dient so nicht nur der Realisierung des Rechts auf Gleichbehandlung 
und sozialpolitischer Ziele, sondern auch des Rechts auf freie Entfaltung der 
Persönlichkeit und dem Schutz der Menschenwürde (ähnlich Baer 2009). 
Das Recht auf informationelle Selbstbestimmung und die Diskriminierungs- 
verbote dienen u.a. dazu, unangemessene Fremdbilder der Persönlichkeit 
zu verhindern. Die Rechte sollen dazu befähigen, mitzuentscheiden, was 
Betroffene als zu ihrer Persönlichkeit gehörig und diese ausmachend ansehen 
können (Britz 2007). Kerngewährleistung des Persönlichkeitsrechts ist es, 
»Mechanismen zur Verfügung zu stellen, die den Einzelnen so in die Vorgänge 
der Konstituierung von Persönlichkeit einbinden, dass er seine Persönlichkeit 
als frei gewählt begreifen kann [...]« (Britz 2008, 191). 

In einer Reihe von Entscheidungen hat das Bundesverfassungsgericht 
das Recht auf Menschenwürde und das Persönlichkeitsrecht konkret auf die 
Risiken der modernen Informations- und Kommunikationstechnologien 
bezogen und entwickelt. In der »Mikrozensus«-Entscheidung (BVerfGE 27, 1) 
hat das Gericht deutlich gemacht, dass es der Menschenwürde widerspricht, 
den Menschen zu einem bloßen Objekt im Staat zu machen. Es ist mit der 
Menschenwürde unvereinbar, den Menschen in seiner gesamten Persönlich- 
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keit zwangsweise zu registrieren und zu katalogisieren und ihn damit wie 
eine Sache zu behandeln, die einer Bestandsaufnahme in jeder Beziehung 
zugänglich ist (ebd., S. 6-7). 

In der Entscheidung zur Volkszählung (BVerfGE 65, 1) wurde das Grund- 
recht auf informationelle Selbstbestimmung begründet, das dem Recht auf 
freie Entfaltung der Persönlichkeit in Verbindung mit dem Recht auf Men- 
schenwürde dient. Es garantiert die Befugnis, grundsätzlich selbst über die 
Preisgabe und Verwendung seiner persönlichen Daten bestimmen zu können 
(ebd., Leitsatz 1). Das Recht auf informationelle Selbstbestimmung dient 
nicht nur der Sicherung der äußeren und inneren Freiheitsdimensionen 
(Handlungsfreiheit und Identitätsbildung), sondern auch der Vermeidung 
von Abschreckungseffekten (chilling effects), die durch Unsicherheiten über 
die Datenverarbeitungen bei den Betroffenen entstehen können (Britz 2010). 

In der Entscheidung zum großen Lauschangriff (BVerfGE 109, 279) erkennt 
das Gericht im Hinblick auf die Unantastbarkeit der Menschenwürde einen 
Kernbereich privater Lebensgestaltung an, der absoluten Schutz genießt. Was 
zum Kernbereich privater Lebensgestaltung gehört, hängt davon ab, ob der 
Sachverhalt einen inhaltlich höchstpersönlichen Charakter hat (ebd., Rn. 123). 
Ebenso verletzt eine zeitlich und räumliche »Rundumüberwachung« die Men- 
schenwürde, wenn sie über einen längeren Zeitraum erfolgt und alle Bewegun- 
gen und Lebensäußerungen des Betroffenen nahezu lückenlos erfasst und zur 
Grundlage eines Persönlichkeitsprofils werden können (ebd., Rn. 150). 

In der Entscheidung zum Recht auf Vergessen I (BVerfGE 152, 152) legt 
das Bundesverfassungsgericht das Recht auf informationelle Selbstbestim- 
mung im privaten Bereich so aus, dass dem Einzelnen gewährleistet ist, 
»über der eigenen Person geltende Zuschreibungen selbst substantiell mit- 
zuentscheiden.« (Ebd.). Das Gericht sah, dass in vielen Lebenssituationen 
private Unternehmen die grundlegenden Dienstleistungen erbringen, die 
eine entscheidende Rolle bei der öffentlichen Meinungsbildung, der Zuteilung 
oder Verweigerung von Chancen oder der Ermöglichung der Teilhabe am 
sozialen bzw. täglichen Leben spielen. In vielen Fällen geschehe dies auf der 
Grundlage einer umfassenden Datenerhebung und Verarbeitung durch oft 
marktmächtige Unternehmen, bei der die Offenlegung personenbezogener 
Daten in großem Umfang kaum zu vermeiden ist, will man nicht von den 
Produkten und Diensten ausgeschlossen werden (ebd., Rn. 85). In Fällen bei 
weitreichenden Abhängigkeiten oder Ausgesetzsein von ausweglosen Ver- 
tragsbedingungen (ebd., Rn. 85) oder »wenn private Unternehmen in eine 
staatsähnlich dominante Position rücken [...] kann die Grundrechtsbindung 
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Privater einer Grundrechtsbindung des Staates im Ergebnis vielmehr nahe- 
oder auch gleichkommen« (ebd., Rn. 88). 

Im Urteil zur automatisierten Datenanalyse bei der Polizeiarbeit (BVerfGE 
1 BvR 1547/19 und 1 BvR 2634/20 vom 16.2.2023) betont das Gericht u.a., dass aus 
bereits bestehenden Datensätzen mit automatisierten Datenanalysen neues 
Wissen, vor allem persönlichkeitsrelevante Informationen, erzeugt werden 
kann (ebd., Rn. 68). Das Gericht verweist zudem auf die Diskriminierungs- 
risiken von automatisierten Datenanalysen, die umso weniger hinzunehmen 
sind, je mehr sich die Wirkungen der Analysen einer unzulässigen Benachtei- 
ligung nach Art. 3 (3) GG annähern (ebd., Rn. 76). Darüber hinaus betont es 
die Nachvollziehbarkeit der Algorithmen für den individuellen Rechtsschutz 
und die aufsichtliche Kontrolle, um Fehler erkennen und korrigieren zu kön- 
nen. Verlust der staatlichen Kontrolle wird vor allem bei Verwendung von 
lernfähigen Systemen bzw. KI gesehen, denn diese können im Verlauf des 
maschinellen Lernprozesses sich von der ursprünglichen menschlichen Pro- 
grammierung lösen und deren Lernprozesse und Ergebnisse immer schwerer 
nachzuvollziehen sein (ebd., Rn. 99, mit Verweis auf das EuGH-Urteil Ligue 
des droits humains, C-817/19). 


4. Faktoren der Verletzung der Menschenwürde bei 
algorithmischen Differenzierungen 


4.1 Schwerwiegende und strukturelle Diskriminierung 


Algorithmischen Differenzierungen können durch ihre Reichweite, die ganze 
Populationen umfassen, zu systematischen bzw. strukturellen Diskriminie- 
rungen führen. Einige Faktoren können auf eine Verletzung der Menschen- 
würde durch mögliche systematische algorithmische Diskriminierungen hin- 
deuten, wenn nämlich algorithmische Diskriminierungen nach »Rasse« bzw. 
Ethnie, Geschlecht, körperlichen und geistigen Behinderungen und den wei- 
teren geschützten Merkmalen des Art. 3 (3) GG erfolgen und wenn algorithmi- 
sche Differenzierungen in Bereichen eingesetzt werden, bei denen eine starke 
Abhängigkeit von den Leistungen, Produkten oder Diensten besteht oder be- 
sonders Schutzbedürftige betrifft. Dies gilt insbesondere bei Entscheidungen, 
bei denen es darum geht, ein Leben in Würde zu leben (z.B. bei Empfangenden 
von Sozialleistungen). Dort kann es bei Diskriminierungen auch zu Formen 
der Demütigung oder Erniedrigung kommen, dadurch dass eine Behandlung 
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als Personen mit gleichem moralischem Wert vermissen gelassen wird (siehe 
z.B. die SyRi und Robo-debt Skandale) (ähnlich Teo 2023, 17). 

In dieser Hinsicht sind auch algorithmische Differenzierungen problema- 
tisch, die durch negative Rückkopplungsschleifen (feedback loops) strukturelle 
Ungleichheiten festigen oder ausweiten. Solche negativen Rückkopplungs- 
schleifen können entstehen, wenn Ergebnisse von AES und KI-Systeme, die 
das Verhalten von Betroffenen vorhersagen, wieder erfasst werden und die 
Systeme diese Daten unkorrigiert als Datengrundlage für weitere Daten- 
analysen, Schlussfolgerungen oder Weiterentwicklung bzw. »Lernen« der 
Algorithmen verwenden. Beispiele finden sich bei Systemen der vorausschau- 
enden Polizeiarbeit (predicitive policing) (Lum und Isaac 2016, FRA 2022). Dies 
kann ebenso bei generativer KI geschehen, bei der Daten der Kommunikation 
mit den Nutzenden wieder ausgewertet werden. Darüber hinaus argumen- 
tieren Behrendt und Loh (2022), dass negative Rückkopplungsschleifen vor 
allem bei den ohnehin benachteiligten Bevölkerungsgruppen entstehen, da 
sie eher dazu tendieren, personenbezogene Daten preiszugeben, was u.a. an 
der Schwäche des Regulierungsinstruments der informierten Einwilligung 
(s.u.) und der nur scheinbaren Freiwilligkeit der Preisgabe liegt. 


4.2 Generalisierung und fehlende Einzelfallgerechtigkeit 


Algorithmische Differenzierung nimmt oft Formen der so genannten statisti- 
schen Diskriminierung an und verändert diese (Barocas und Selbst 2016, Binns 
et al. 2018, Orwat 2019). Statistische Diskriminierung ist eine Art Proxydiskri- 
minierung. Statt mittels einer aufwendigen Einzelfallprüfung das tatsachliche 
Persönlichkeitsmerkmal bzw. Differenzierungsziel (z.B. das soziale Konstrukt 
»tatsächliche Fähigkeit, ein Flugzeug zu führen«) zu ermitteln, wird eine ver- 
gleichsweise einfach zu erhaltende Proxyinformation (z.B. Alter in Jahren) ge- 
nutzt. Diese Form der Differenzierung soll ein Informationsdefizit effizient 
überwinden. Zu einer Diskriminierung kann es kommen, wenn die Proxyin- 
formationen rechtlich geschützte Merkmale sind oder Merkmale enthalten, 
die eine Korrelation zu geschützten Merkmalen aufweisen (z.B. Hellman 2008, 
Britz 2008, Schauer 2018). Die Proxyinformationen können aus empirischen 
Untersuchungen abgeleitet werden oder, im Falle des maschinellen Lernens, 
aufan Daten trainierten Modellen vorliegen. 

Statistische Diskriminierung und Generalisierung (sowohl durch mensch- 
liche Entscheidende oder mit Nutzung von Algorithmen) sind jedoch bereits an 
sich ethisch problematisch, weil Gruppeninformationen auf Individuen über- 


149 


150 


Künstliche Intelligenz und ethische Verantwortung 


tragen werden und so bei Entscheidungen als Quasi-Stereotypen und Vorur- 
teilen bei der Entscheidungsfindung wirken (Gandy Jr. 2010, 34). Prinzipiell ist 
die Einzelfallgerechtigkeit nicht gewährleistet, da eine Einzelfallprüfung von 
Personen nicht vorgenommen wird und die individuellen Subjekteigenschaf- 
ten und individuellen Situationen und Kontexte nicht berücksichtigt werden 
(Britz 2008). Was in der KI-Forschung und Praxis oft als »Prognose« bezeich- 
net wird, ist keine Prognose des potenziellen Verhaltens eines Individuums, 
die aus einer individuellen Prüfung abgeleitet wird. Vielmehr handelt es sich 
um eine Zuordnung von Personen zu statistisch oder mit maschinellen Lern- 
verfahren gebildeten Kriterien, Kategorien, Scorewerten oder Rangfolgen, von 
denen bestimmte Ergebnisse in der Zukunft für die zugeordneten Personen 
erwartet werden. 

In vielen Fällen der algorithmischen Differenzierung werden zudem die 
Kategorien, zu denen Individuen zugeordnet werden, anhand der Daten von 
Gruppen konstruiert, die nicht die Personen enthalten, über die tatsächlich 
entschieden wird (Eckhouse et al. 2019, 198f.). Auch sind die konstruierten 
Kategorien für die betroffenen Personen und Dritte in der Regel nicht nach- 
vollziehbar. Anders als bei der Verwendung von klar kommunizierten Kriterien 
(z.B. Altersgrenzen in der Verwaltung) entziehen sich solche Entscheidungs- 
kriterien und -regeln der Überprüfung und Diskussion durch Wissenschaft 
und Öffentlichkeit, etwa ob überhaupt ein Kausalzusammenhang zwischen 
Kriterien und Differenzierungsziel besteht, ob er mit Fakten belegt werden 
kann oder ob die Verwendung bestimmter Kriterien sozialpolitisch oder 
moralisch umstritten oder unerwünscht ist. 


4.3 Behandlung von Personen als Individuen und mit Achtung 


Im Gegensatz zu individualisierten Entscheidungen über Personen werden 
bei statistischer Diskriminierung und Generalisierung Personen als Infor- 
mationsobjekte und nicht als Individuen behandelt. Wann es moralisch 
problematisch ist, Menschen nicht als Individuum zu behandeln, sondern 
nur als Mitglied einer Gruppe (Stereotypisierung) ist umstritten (z.B. Lippert- 
Rasmussen 2011, Beeghly 2018). 

Häufig wird an den moralischen Überlegungen von Kant angeknüpft, 
der mit dem Instrumentalisierungsverbot die Achtung des Menschen fordert 
(nach Hill Jr. 2014, 316f., Dillon 2022, Kapitel 2.2). So ist jeder gehalten, »die 
Würde der Menschheit an jedem anderen Menschen praktisch anzuerkennen, 
mithin ruht auf ihm eine Pflicht, die sich auf die jedem anderen Menschen 
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notwendig zu erzeigende Achtung bezieht.« (Kant 1797/1977, 601). Die Ach- 
tung von anderen Personen, die sich Menschen gegenseitig schulden und die 
Menschen gegenüber anderen gelten machen können, ist die Achtung ihrer 
Würde (Kant 1797/1977, 600, hier nach Schaber 2016, 256, Ulgen 2017, 2022, 
14-15). Eine andere Person (und sich selbst) in seiner Würde achten bedeutet, 
dass ich andere »jederzeit zugleich als Zweck, niemals bloß als Mittel« (Kant 
1786/2021, 429) behandle. 

Nach Schaber, der dazu seine Erläuterungen zum falschen Versprechen in- 
terpretiert, meint Kant damit auch, dass man eine Person bloß als Mittel be- 
handelt, wenn man sie in einer Weise behandelt, der sie unmöglich zustim- 
men kann. Das ist der Fall, »wenn sie dazu keinen Grund hat und sie sich nicht 
rational verhalten würde, wenn sie zustimmen würde.« (Schaber 2016, 256). 
Eine Person in ihrer Würde achten, bedeutet daher, sie in einer Weise zu be- 
handeln, der sie vernünftigerweise zustimmen kann (ebd.). Bereits Korsgaard 
(1996), die sich ebenfalls auf Kant bezieht, argumentiert, dass man eine Person 
dann als bloßes Mittel behandelt, wenn man sie so behandelt, dass die Per- 
son der Art der Behandlung nicht zustimmen kann. Dies kann die Person we- 
der bei Zwang noch bei Täuschung, da bei beiden Formen der Behandlung die 
Person keine Chance bekommen hat, den Zweck auszuwählen. Eine Behand- 
lung ist demnach moralisch schlecht, wenn Personen nicht in der Lage sind zu 
wählen. Sie schließt daher, dass Zwang und Täuschung, nach der Formel der 
Menschlichkeit von Kant, die grundlegendsten Formen des Fehlverhaltens ge- 
genüber anderen, die Wurzel allen Übels ist (ebd., S. 137-40). Eine Täuschung 
ist nach Schaber dann problematisch, wenn sie einen Bereich betrifft, der das 
Recht der Betroffenen, über wesentliche Teile des eigenen Lebens zu verfügen, 
beeinträchtigt (Schaber 2013, 134-36). 

Ebenso unter Bezugnahme auf Kant entwickelt Ulgen (2022) Anforderun- 
gen für die Behandlung von Personen mit Respekt vor der ihnen inhärenten 
Würde im Hinblick auf KI und AES. Die Würde leitet sich aus ihrer Autonomie 
und ihren rationalen Fähigkeiten zur Ausübung von Vernunft, Urteilen und 
Entscheidungen ab. Die menschliche Autonomie ist geschützt, wenn Men- 
schen in der Lage sind, unter dem Einfluss der Vernunft zu handeln, wenn 
sie die Beweggründe für ihr Handeln erkennen können, oder wenn sie ihre 
Beweggründe ändern können (ebd., S. 19). Diejenigen KI-Anwendungen und 
AES, die die Möglichkeiten zur Ausübung von Vernunft, Urteilsvermögen und 
Wahlmöglichkeiten einschränken, untergraben die Menschenwürde (ebd., 
S. 27). Neben der Relevanz für technologisch implementierte soziale Regeln 


151 


152 


Künstliche Intelligenz und ethische Verantwortung 


(s.u.) ist dies bereits für die algorithmenbasierte Entscheidungsfindung 
relevant. 

Diese Argumentationen zeigen, wie bedeutend die Vorbedingungen für 
die Art und Weise der Behandlung sowie funktionsfähige Kompensationsme- 
chanismen sind, um zu verhindern, dass Individuen als bloßes Objekt behan- 
delt werden. Insbesondere gehören dazu die Möglichkeiten der Zustimmung 
zur Behandlung und der Einwirkung auf die Behandlung. Auch die Sicherung 
von Wahlmöglichkeiten und die Voraussetzung, über die Wahlmöglichkeiten 
so informiert zu werden, dass Personen selbstbestimmt handeln können, ge- 
hören zum Schutz der Menschenwürde. 

Philosophische Erklärungsansätze dafür, wann eine Differenzierung 
moralisch falsch ist, ziehen vergleichbare Schlüsse. Zu ihnen zählen an 
Menschenwürde und Missachtung orientierte Ansätze der Diskriminierungs- 
theorie (Khaitan 2015, 6-8), auch wenn nicht immer der Begriff »Würde« 
verwendet wird. Sie sehen eine Differenzierung als falsch an, wenn die diskri- 
minierende Person den moralischen Wert der diskriminierten Person falsch, 
vor allem als niedriger, einschätzt oder wenn die diskriminierende Person 
eine falsche Einschätzung zum Ausdruck bringt, also so handelt, als ob die 
diskriminierte Person einen geringeren moralischen Wert hat (Thomsen 2017). 

Baer (2009) sieht Gleichheitsbedürfnisse nicht allein durch Gleichheitsvor- 
stellungen, sondern besser auch durch Bezugnahme auf Freiheit und Wür- 
de befriedigt, da sie als Schutzschild gegen kollektivistische Stereotypisierung 
dienen. Würde ist das Versprechen der Anerkennung unterschiedlicher Selbst- 
wahrnehmungen, die alle den gleichen Respekt verdienen. Aus dem Zusam- 
menwirken von Gleichheit, Freiheit und Würde erwächst nicht nur das Ver- 
ständnis, dass Menschenwürde für alle Menschen gleich ist, unabhängig von 
Status, Klasse oder ähnlichem. Sondern Freiheit stellt auch sicher, dass jeder 
Einzelne sein eigenes Selbstverständnis definiert, anstatt es von Autoritäten 
bestimmen zu lassen (ebd., 460). Ebenso kann daraus ein Recht auf Entschei- 
dung unter den Bedingungen der Chancengleichheit frei von Unterdrückung 
und Unterordnung (Gleichheit) konzipiert werden, unter Achtung und Aner- 
kennung aller Beteiligten (Würde) (ebd., 466). 

Hellman (2008) sieht das moralisch Falsche einer Diskriminierung darin, 
dass sie eine Person erniedrigt. Erniedrigende Regeln oder Praktiken drücken 
eine Missachtung der moralischen Gleichheit der von Diskriminierung betrof- 
fenen Personen aus. Eidelson (2013) fasst das Falsche an Diskriminierung als 
Fehler, eine Person korrekt als Individuum zu behandeln, auf. Der Fehler liegt 
darin, die Person nicht als (teilweise) Ergebnis ihrer vergangenen Bemühun- 
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gen der Selbstentfaltung (self-creation) zu sehen und als autonom Handelnde, 
deren künftige Entscheidungen sie selbst treffen kann (ebd., 227). So beant- 
wortet er das Problem, dass Personen bei statistischer Diskriminierung und 
Generalisierung nicht als Individuum behandelt werden, mit der Forderung, 
dass Personen dann und nur dann als Individuum behandelt werden, wenn 
(1.) die differenzierende Person X den Nachweisen (evidence), wie die betrof- 
fene Person Y ihre Autonomie bei der Gestaltung ihres Lebens ausgeübt hat, 
ein angemessenes Gewicht beimisst, sofern diese Hinweise in angemessener 
Weise verfügbar und für die vorliegende Entscheidung relevant sind. (2.) Zu- 
sätzlich dürfen die Beurteilungen von X, wenn sie die Auswahlentscheidungen 
der Person Y betreffen, nicht in einer Art erfolgen, die die Fähigkeit von Y, diese 
Auswahlentscheidungen als autonom handelnde Person zu treffen, herabset- 
zen (Eidelson 2015, 144). 

Zwar bleiben noch Fragen nach dem Ausmaß, Typen von oder Verpflich- 
tungen zu angemessenen und relevanten Nachweisen offen, doch es kann ab- 
geleitet werden, dass der Gegenstand der Informationen und Entscheidun- 
gen die selbstbestimmte Persönlichkeitsentfaltung der Betroffenen, ihre Mög- 
lichkeiten der Selbstwahrnehmung, Selbstbestimmung und Selbstdarstellung 
sein sollte. Allerdings muss ein Dilemma vermieden werden: Sollen möglichst 
viele personenbezogene Daten über die Selbstbestimmung erfasst werden, um 
das Problem der Generalisierung zu lösen und Personen als Individuum bes- 
ser zu achten, kann dies nur mit der Kontrolle der dazu zu erstellenden Daten 
und Profile durch die Betroffenen selbst geschehen, um eine Verletzung des 
Rechts auf informationelle Selbstbestimmung zu vermeiden. Statt automati- 
sierte Datenerfassungen und -analysen können auch menschliche Entschei- 
dende erforderlich werden, um kontext-, situations- und personenbezogene 
Entscheidungen treffen zu können, die einen hohen Grad an situativem Ab- 
wägen mit Ermessensspielräumen erfordern. 


4.4 Automatisierte Entscheidungen 


Automatische Entscheidungen auf Basis von Generalisierungen sind nach Ci- 
tron und Kaminski moralisch problematisch, da außer den Generalisierungs- 
informationen keine anderen Informationen über die Betroffenen verarbeitet 
werden. Werden Individuen bloß algorithmisch gebildeten Kategorien, Score- 
werten oder Rangfolgen zugeordnet, werden sie nicht mehr als Individuen be- 
handelt. Wenn es bei algorithmischen Entscheidungen den Individuen nicht 
mehr möglich ist, ihre Individualität zu verdeutlichen, dann verletzt das ih- 
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re Würde und verdinglicht sie anhand weniger Merkmale, anstatt sie als gan- 
ze Personen zu behandeln. Sowohl die Ausübung menschlichen Ermessens als 
auch individuelle Verfahrensrechte (des Einspruchs, der Korrektur etc.) sind 
nicht nur notwendig, um Fehler zu vermeiden, sondern auch, damit die Indi- 
vidualität angemessen anerkannt und respektiert werden kann (Citron 2008, 
1304, Kaminski 2019, 1541-45). Des Weiteren sind menschliche Ermessensent- 
scheidungen notwendig, wenn in Entscheidungen auch mildernde Umstände 
einbezogen werden müssen, die der Algorithmus nicht berücksichtigen kann, 
ebenso wenn unbestimmte Begriffe in den Entscheidungsregeln bestehen, die 
vom menschlichen Entscheidenden Abwägungen zwischen gegenläufigen In- 
teressen erfordern (Citron 2008, 1304). 

Eine der Beweggründe für die Regulierung der automatisierten Entschei- 
dungsfindung ist der Schutz der Menschenwürde. Dies bezieht sich auf Arti- 
kel 22 der Allgemeinen Datenschutzgrundverordnung (Verordnung 2016/679 
(DSGVO)) und den Vorgänger, Artikel 15 der Datenschutzrichtlinie (95/46/EG, 
1995 (DSRL)). Nach Dammann und Simitis (1997, 218f.) sollte mit dem Verbot 
automatisierter Entscheidungen (Artikel 15 DSRL) verhindert werden, dass Be- 
troffene bei Persönlichkeitsbeurteilungen nur computergestützt und auf der 
Grundlage gespeicherter Daten behandelt werden. Dies ignoriere die Indivi- 
dualitat der Person und werte die Person zu einem bloßen Objekt von Compu- 
teroperationen ab (ähnlich zur DSGVO Martini 2021, Rn. 8, Scholz 2019, Rn. 3, 
ahnlich Jones 2017, Kaminski 2019). 

Nach Martini und Nink wird die Subjektqualitat eines Menschen aller- 
dings nicht notwendig dadurch missachtet, dass allein personenbezogene 
Daten das Objekt einer algorithmischen Analyse sind. Die Subjektqualitat 
wird bei automatisierten (Verwaltungs-)Entscheidungen erst dann tangiert, 
wenn algorithmische Verfahren den Betroffenen nachteilige Folgen auf- 
bürdet, »ohne ihm die Chance zu eröffnen, sich gegen die Entscheidung in 
angemessener Weise zur Wehr setzen zu können.« (Martini und Nink 2017, 
7). Zur Wahrung der informationellen Selbstbestimmung setzt man in der 
Rechtspraxis auf das Verfahren, (1) über die automatisierte Entscheidung zu 
informieren, (2) auf Anfrage die wesentlichen Entscheidungsgründe mitzutei- 
len und zu erläutern, (3) den eigenen Standpunkt geltend machen zu können, 
um erforderlichenfalls eine Überprüfung und Neubewertung zu erreichen 
(ebd., S. 7). 

Allerdings lassen einige Defizite der Regulierung von automatisierten 
Entscheidungen Zweifel aufkommen, ob sie dem Schutz der Menschenwiirde 
noch dienen kann. Das so genannte »Verbot« ist mit umfangreichen Ausnah- 
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men versehen, insbesondere wenn ein AES zum Abschluss oder der Erfüllung 
eines Vertrags dient, durch Rechtsvorschriften Zulässigkeit verlangt oder eine 
ausdrückliche Einwilligung vorliegt. Die Regulierung sieht zwar vor, dass der 
Betreibenden einer automatisierten Entscheidung über das Bestehen einer 
automatischen Entscheidung und die so genannte involvierte Logik informie- 
ren muss, aber es ist noch unklar, welche Inhalte diese Informationspflicht 
hat, z.B. ob und wie über Entscheidungskriterien oder mögliche Diskriminie- 
rungsrisiken informiert werden muss (Orwat 2019, 114-23 m.w.N.). Zudem 
wird das »Verbot« oft nur als Eingriffsrecht der Betroffenen in begründeten 
Einzelfällen interpretiert (Martini und Nink 2017, 4). Dabei müssen die Betrof- 
fenen zunächst Kenntnis von dem AES und deren Auswirkungen haben und 
eine Begründung des Verlangens nach einem Eingreifen eines Menschen und 
nach Erklärung der involvierten Logik erbringen. Da dies sehr aufwendig sein 
kann, können Abschreckungseffekte (chilling effects) entstehen, wenn einzel- 
ne Personen es als unzumutbare hohe Hürden wahrnehmen, die Regelung in 
Anspruch zu nehmen. 


4.5 Entstehung neuen Wissens sowie umfassender und 
aussagekräftiger Personen- und Gruppenprofile 


Die Möglichkeiten der Datenaggregation, der Wiederverwendung von Da- 
ten, der Datenkombination und daraus abgeleitete Schlussfolgerungen, der 
De-Anonymisierung und der Re-Identifizierung von Personen, der Kategori- 
sierung, Einstufung, Beurteilung und des Individual- oder Gruppen-Profiling 
von Personen sind mit KI stark angewachsen (z.B. Yeung 2019, FRA 2020, 
Smuha 2021). Einige KI-Systeme wurden dafür entwickelt, automatisierte 
Rückschlüsse auf die Identität, persönlichkeitskonstituierenden Merkmale 
und andere sensible Sachverhalte, wie Emotionen, Charaktereigenschaften, 
psychische Zustände oder politische Orientierungen zu ziehen (Beispiele 
in Kosinski 2021, Matz et al. 2023). Die KI-basierten biometrischen und 
psychometrischen Auswertungen (z.B. emotional AI) können der gezielten 
Ansprache (z.B. im Marketing), der Risikobeurteilung (z.B. bei der Bewer- 
berselektion, Berechnung der Wahrscheinlichkeit des Studienabbruchs oder 
Kreditausfalls) und Verhaltenssteuerung dienen (kritisch z.B. Valcke, Clifford, 
und Dessers 2021). Oft basieren die Systeme auf einer Reduktion der Persön- 
lichkeit auf quantifizierbare Messgrößen und Klassen, die versuchen, die für 
ein Differenzierungsziel relevanten Persönlichkeitseigenschaften abzubilden. 
Kritisch wird dazu die Standardisierung von Persönlichkeit (Köchling et al. 
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2021) oder die pseudowissenschaftliche Herangehensweise (Sloane, Moss, 
und Chowdhury 2022) angeführt. 

Auch wenn Umfang und Arten der Anwendung solche Systeme in der 
Praxis noch wenig bekannt sind, verdeutlicht dies, dass mit KI aussagekräf- 
tige Personenprofile bzw. »Rundum«-Profile erzeugt und verwendet werden 
können, die geeignet sind, ein (nahezu) vollständiges Fremdbild einer Person 
überzustülpen, dies mit persönlichkeitskonstituierenden Merkmalen und 
dies auch ohne dass eine valide Zustimmung durch die Betroffenen vorliegt. 

Insgesamt kommt es zu einer weiteren Ablösung der Datenrepräsentation 
durch die Betreibenden von den Möglichkeiten der Kontrolle der Selbstdarstel- 
lung durch die Betroffenen (vgl. auch Teo 2023). Die Identität der Betroffenen 
ist dann nur noch fremdbestimmt, auch wie sie sich begreifen (als normal, ge- 
sund, regelkonform etc.). Die Fähigkeiten, sich selbstbestimmt zu entfalten, 
sind dann eingeschränkt oder sogar beseitigt. Es liegt nach den oben skizzier- 
ten Maßstäben eine Verletzung der informationellen Selbstbestimmung und 
der Menschenwürde vor. Auch können derartige KI-Anwendungen Abschre- 
ckungseffekte und damit Selbsteinschränkungen der freien Persönlichkeits- 
entfaltung als Form der Würdeverletzung hervorrufen (FRA 2019, 20). 


4.6 Strukturelle Überlegenheit 


Im Verhältnis Staat gegenüber Betroffenen (z.B. Bürgern oder Migranten) 
muss man grundsätzlich von der strukturellen Überlegenheit des Staates 
ausgehen, denn es liegen üblicherweise Situationen mit Gewaltmonopol, 
fehlende Ausweichmöglichkeiten, Ausgeliefertsein, Nichtverhandelbarkeit 
und vollständiger, einseitig festgelegter Verbindlichkeit der Regeln vor. Eine 
Reihe von Faktoren können auch in privaten Verhältnissen die strukturelle 
Überlegenheit von Anwendenden der KI-Systeme (z.B. Anbietende, Arbeit- 
gebende, Banken) gegenüber den Betroffenen (z.B. Kunden, Bewerbende, 
Kreditsuchenden) erhöhen. 

Erstens werden sowohl im staatlichen als auch im privaten Bereich zuneh- 
mend gesellschaftliche Regeln in Software bzw. Algorithmen gefasst. Für die 
technische Implementierung müssen die Regeln in Programmiersprache um- 
gesetzt werden oder werden durch maschinelles Lernen erzeugt. Bei diesen 
Formen der Präzisierung gehen aber auch Auslegungs- und Ermessens- 
spielräume verloren, die oft notwendig sind, damit gesellschaftliche Regeln 
auf viele Situationen, die teils nicht vorhersehbar sind, angewandt werden 
können. Werden Regeln vollständig automatisiert durchgesetzt, wie z.B. bei 
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vollautomatisierten Entscheidungen, wird ein Abweichen von den Regeln 
technisch verhindert. Aber auch bei algorithmischen Auswahlarchitekturen 
(choice architectures oder nudging) wird der Raum der Auswahlmöglichkeiten 
technisch vorgegeben und oft verengt. Die Regeln werden dann zumeist ein- 
seitigvon den Entwickelnden und Anwendenden vorgegeben, Verhandlungs-, 
Einwirkungs-, Korrekturmöglichkeiten der Betroffenen reduziert oder be- 
seitigt, wodurch sich die strukturelle Überlegenheit erhöhen kann. Dadurch 
verringern sich auch die Handlungsmöglichkeiten, die Autonomie und die 
Chancen der Selbstdurchsetzung von Autonomie durch die Betroffenen (Ulgen 
2022, Teo 2023, 27-31, Deutscher Ethikrat 2023, 120-37). 

Zweitens, wenn die privaten Anwendenden von KI-Systemen gleichzeitig 
auch diejenigen sind, die Plattformen betreiben (die teilweise auch die Entwi- 
ckelnden von KI-Systemen sind), können starke Netzwerkeffekte der Plattfor- 
men zu verminderten Ausweichmöglichkeiten und stärkeren Abhängigkeiten 
führen. 

Drittens sind, wie eben gezeigt, einige KI-Systeme in der Lage, sensible 
Persönlichkeitsmerkmale, wie psychische Zustände, Charaktereigenschaften, 
Emotionen, auch aus scheinbar »belanglosen« Daten, wie der Kommunikation 
in sozialen Netzen, zu ermitteln. Dadurch kann die Angewiesenheit auf ein 
Produkt, Dienst oder Position besser ermittelt und ausgenutzt werden (z.B. 
Härtel 2019), ebenso menschliche Schwächen, insbesondere wenn die Systeme 
für »Dark Pattern« oder anderen Formen der Manipulation verwendet werden 
(z.B. Ulgen 2022, 22-24). 

Entwicklungen, die die strukturelle Überlegenheit der Anwendenden von 
KI-Systemen gegenüber den Betroffenen erhöhen, können tendenziell die 
Menschenwürde und die freie Persönlichkeitsentfaltung gefährden, denn 
den Betroffenen werden die Möglichkeit der selbstbestimmten Lebensgestal- 
tung eingeschränkt. Dies kann in privaten Verhältnissen auf dem Wege der 
Störung der Vertragsparität und damit der Verringerung der Möglichkeiten, 
dass Betroffene ihre Autonomie selbst durchsetzen können, geschehen. Denn 
auch wenn die Vertragsfreiheit gilt, d.h. dass jeder die Freiheit hat, zu be- 
stimmen, mit wem und unter welchen Bedingungen Verträge abgeschlossen 
werden, so muss gesichert sein, dass dabei »auch die Bedingungen freier 
Selbstbestimmung tatsächlich gegeben sind.« (BVerfGE 82, 242, S. 255). 
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4.7 Fehlende Möglichkeit der validen Zustimmung 


Das Instrument der Zustimmung kann moralisch unzulässige Behandlungen 
in zulässige transformieren. Allerdings kann sie diese moralische Transfor- 
mationsleistung nur bei Einhaltung bestimmter Voraussetzungen erreichen. 
Dazu gehört, dass die Betroffenen freiwillig zustimmen und dazu Wahlmög- 
lichkeiten haben, dass sie ausreichend informiert sind, also den Umfang der 
Datenverarbeitungen und die Konsequenzen daraus verstehen, und dass sie 
die notwendigen Entscheidungsbefähigungen haben (Bullock 2018). Zum an- 
deren wird aus philosophischer Sicht auch bezweifelt, dass Zustimmung eine 
Behandlung als bloßes Objekt in eine moralisch zulässige Behandlung trans- 
formieren kann, wenn bereits die Behandlung die Pflicht, andere Menschen 
mit Achtung zu behandeln, verletzt (Fahmy 2023). Das dürfte etwa bei schwer- 
wiegenden algorithmischen Diskriminierungen oder bei Differenzierungen, 
die auf Profilen mit (nahezu) vollständiger Erfassung und Fremdbestimmung 
der Persönlichkeit basieren, der Fall sein. 

In der Datenschutzpraxis sind die Probleme der informierten Einwilligung 
seit langem bekannt. Die Wirksamkeit und Aussagekraft wird zunehmend 
eingeschränkt durch nicht verhandelbare, lange, unverständliche und in ju- 
ristischer Sprache formulierte Datenschutzerklärungen, die zunehmende 
Erhebung von Daten auf der Grundlage sogenannter berechtigter Interessen 
ohne das einer Einwilligung erforderlich ist (Artikel 6 (1) fDSGVO), starke tech- 
nisch-ökonomische Netzwerkeffekte und dadurch Bindungen von Kunden 
und Nutzern an Systeme oder Plattformen (abnehmende Freiwilligkeit) sowie 
durch Schnittstellendesigns, die zu einer Einwilligung in Datenerhebungen 
verleiten. Den Betroffenen fehlt oft die Kenntnis über die Notwendigkeit und 
die rechtlichen Möglichkeiten der informierten Einwilligung selbst. Zudem 
können sie kaum abschätzen, welche tatsächlichen Folgen die Einwilligung im 
Hinblick auf potenziell nachteilige, teilweise zeitlich weit entfernte Behand- 
lungen, die auch auf Basis schwer nachvollziehbarer Datenakkumulation oder 
nicht mehr abschätzbarer Weiterverarbeitungen und Datenweitergaben ent- 
stehen können, hat. Darüber hinaus können bei komplexen KI-Algorithmen 
die Entscheidungskriterien unverständlich oder unbekannt sein, insbeson- 
dere wenn es sich um selbstlernende bzw. adaptive Systeme handelt. Ebenso 
kann mit KI-basierten Schlussfolgerungen neues Wissen aus vorhandenen 
personenbezogenen Daten generiert werden, auch aus anonymisierten Da- 
ten und auch für Personen oder Gruppen, die nicht an der ursprünglichen 
Einwilligung beteiligt waren (s.o.). Es ist dann davon auszugehen, dass die 
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Betroffenen nicht mehr hinreichend erkennen können, in was sie einwilligen 
(z.B. Orwat 2019, 106f. m.w.N.). Auf Grund dieser Faktoren wird die infor- 
mierte Einwilligung als Legitimation der Behandlung von Menschen als bloße 
Objekte und als Instrument der Selbstbestimmung zunehmend unbrauchbar. 

Zarsky konkretisiert noch detaillierter, dass zum Schutz der Menschen- 
würde ein Verständnis der inneren Abläufe von automatisierten Datenanaly- 
sen vorliegen müsse, denn ohne dieses Verständnis können die Ergebnisse im- 
mer noch willkürlich und falsch erscheinen. Das Problem ist, dass mit den be- 
stehenden (rechtlichen) Transparenzanforderungen maximal lediglich Infor- 
mationen über die Korrelationen bzw. Klassifikationen, in denen eine Person 
eventuell fallen könnte, geliefert werden. Stattdessen muss der automatisierte 
Prognoseprozess auch interpretierbar sein, d.h. der Auswahlprozess muss er- 
klärbar sein. Daher erfordere der Schutz der Menschenwürde sogar, dass für 
die Betroffenen kausale Zusammenhänge und nicht bloß Korrelationen fest- 
stellbar sein müssten, bevor Schlussfolgerungen und Maßnahmen getroffen 
werden (Zarsky 2013). 


5. Zusammenfassung und Schlussfolgerung 


Die Menschenwürdeperspektive ermöglicht es zu bestimmen, wie Menschen 
oder Maschinen andere Menschen behandeln sollten. Diese Perspektive kann 
die Arbeiten zur relativen Fairness von Algorithmen und der Verminderung 
von Diskriminierungsrisiken ergänzen. Die Menschenwürdeperspektive geht 
über das Bemühen des »debiasing« von Datensätzen und Algorithmen hinaus 
und fragt, wie algorithmenbasierte Entscheidungsprozesse gestaltet sein soll- 
ten und welche Informationsgrundlagen dafür zur Verfügung stehen sollten. 
Sie weist darauf hin, dass selbst der Idealfall »genauer« Profile als Grundlage 
algorithmenbasierter Entscheidungen problematisch ist, wenn übermächtige 
Fremdbilder die informationelle Selbstbestimmung der Betroffenen unter- 
drücken. Sie liefert auch Begründungen dafür, in welchen Situationen KI und 
AES nicht eingesetzt werden sollten, weil eine Einschränkung oder Verletzung 
der Menschenwürde nicht ausgeschlossen werden kann. So sind die Verbo- 
te bestimmter KI-Anwendungen im Entwurf der KI-Verordnung auch mit 
Verweis auf den Schutz der Menschenwürde begründet worden (z.B. in Er- 
wägung 15 und 17). Das Verständnis von Diskriminierung auch als Verletzung 
der Würde und der moralischen Gleichwertigkeit der Betroffenen ergänzt das 
Verständnis von Diskriminierung als Schädigungen von Gerechtigkeitsvor- 
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stellungen oder von sozialpolitischen Zielen. Es gibt Aufschluss darüber, was 
es bedeutet, Menschen als Individuen und mit Respekt zu behandeln. 

Durch den Einsatz von KI und AES kann es zur Verletzung der Men- 
schenwürde kommen. Wie gezeigt, kann dies mit der Überlagerung von 
problematischen Faktoren bei der Anwendung von KI und AES und die 
zunehmende Ungeeignetheit von rechtlich etablierten Kompensationsme- 
chanismen zur Abmilderung der Behandlung als bloßem Objekt geschehen. 
Diese Faktoren umfassen (1.) die Generalisierung und Missachtung der Per- 
sönlichkeit in Entscheidungen der Ungleichbehandlung, (2.) die Reichweite 
von Systemen mit Restrisiken der systematischen und strukturellen Diskri- 
minierung, einschließlich dem Umstand, einige Personen einem höheren 
Diskriminierungsrisiko auszusetzen und sie wie Personen mit geringerem 
moralischen Wert zu behandeln, (3.) die immer unzureichender werdende 
informierte Einwilligung, die sich bei KI-Systemen, deren Entscheidungs- 
kriterien und Auswirkungen nicht mehr nachvollziehbar sind, besonders 
drastisch auswirkt und Betroffene nicht mehr auf die Ergebnisse einwirken 
können, (4.) die unzureichende Klärung der Regulierung von automatisierten 
Entscheidungen, der Rolle involvierter menschlicher Entscheidender sowie 
der informierten Einwilligung dabei, (5.) der Verlust der Kontrolle über die 
Erzeugung und Verwendung von Persönlichkeitsbildern durch die Betrof- 
fenen sowie (6.) die steigende strukturelle Überlegenheit des Staates oder 
privater Unternehmen durch die zunehmende technische Durchsetzung von 
gesellschaftlichen Regeln, die Marktkonzentration, die besonderen Fähigkei- 
ten von KI-Systemen Abhängigkeiten und andere menschliche Schwächen zu 
erkennen und sie auszunutzen und dadurch Situationen mit eingeschränkten 
Handlungs- und Einwirkungsmöglichkeiten, Unausweichlichkeit und star- 
ken Abhängigkeiten. Als Folge kann in den Situationen, in denen Faktoren 
allein oder zusammenwirken, eine Garantie des Schutzes der Menschen- 
würde nicht mehr vorliegen. Dies wiegt besonders schwer, wenn es sich 
um Differenzierungen von Produkten, Diensten, Positionen handelt, die für 
die selbstbestimmte Lebensgestaltung und Identitätsbildung oder für ein 
menschenwürdiges Dasein von Menschen mit besonderen Bedürfnissen und 
Vulnerabilitäten essentiell sind. 

Es besteht eine dringende Notwendigkeit, weiter zu klären, wann die 
Menschenwürde und Persönlichkeitsentfaltung konkret eingeschränkt oder 
verletzt ist und wie sie zu schützen sind, insbesondere (1.) welche Personen- 
und Gruppenprofile so umfassend oder so persönlichkeitskonstituierend sind, 
dass man das Persönlichkeitsbild als fremdbestimmt und den Kernbereich 
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der privaten Lebensgestaltung als ausgehöhlt bezeichnen muss, (2.) unter 
welchen Bedingungen schwerwiegende, systematische oder strukturelle Dis- 
kriminierungen mit Verwendung von Algorithmen vorliegen, (3.) wie weit und 
in welcher Form die Persönlichkeit der Betroffenen bei algorithmenbasierten 
Entscheidungen zu respektieren ist und welche Form von Rechtfertigung für 
Entscheidungen Betroffene erhalten müssen, (4.) welche Einwirkungsmög- 
lichkeiten auf Entscheidungen und auf ihr Persönlichkeitsbild die Betroffenen 
haben müssen und wie kommunikative Prozesse dazu aussehen sollten sowie 
(5.) wie nicht nur die Menschenwürde und Persönlichkeitsentfaltung der 
direkt Betroffenen (wieder) gestärkt werden kann, sondern auch der Schutz 
von mitbetroffenen Dritten, die nicht wissen, dass sie betroffen sind. 
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Normung und Standardisierung von KI-Systemen 
aus soziotechnischer Perspektive 


Cecilia Colloseus 


Der Normungsbedarf von Kl-Systemen 


Wenn sozialarbeiterische Arbeitsprozesse digital unterstützt und in ihrem 
Kontext ethisch wie rechtlich begründete Entscheidungen getroffen werden 
sollen, müssen Systeme, die aufkünstlicher Intelligenz (KI) basieren, strengen 
Standards entsprechen. Gerade wenn es um Einschätzungen von Kindeswohl- 
gefährdung und die Bewertung von Risikopotential geht, ist eine Ausrichtung 
an fundierten Normen unumgänglich. 

Dieser Artikel befasst sich mit der Normung von KI. Normung ist ein 
wichtiger Schritt, um eine verantwortungsvolle und ethische Anwendung 
von KI-Technologien zu gewährleisten. Allerdings kann die digitale Opera- 
tionalisierung in der Normung auch ethische Herausforderungen mit sich 
bringen, wie z.B. eine ungleiche Beteiligung von Interessengruppen oder die 
Verstärkung von bestehenden Vorurteilen und Diskriminierungen. 

Die genannten Herausforderungen werden in diesem Artikel vor dem Hin- 
tergrund des EU-AI-Acts (AI-Act) und der DIN-KI-Normungsroadmap (DIN- 
KI) betrachtet. Es wird der Frage nachgegangen, ob die Vorgaben der Standar- 
disierung und Normung eine Basis für die Umsetzung der in KAIMo verhan- 
delten Fragestellung, ob ein Algorithmus moralisch kalkulieren kann, bieten 
können. 
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Kl-Normung auf europäischer und nationaler Ebene - EU-Al-Act und 
DIN-KI-Normungsroadmap 


Der EU-AI-Act ist ein 2021 von der Europäischen Kommission vorgestellter 
Vorschlag für eine neue Gesetzgebung zur Regulierung von KI. Der Gesetzes- 
entwurf unterteilt KI-Systeme in drei Risikokategorien: Anwendungen, die 
ein nichtakzeptables Risiko darstellen (und folglich nicht in Umlauf gebracht 
werden dürfen), Hochrisikoanwendungen mit Regulierungsbedarf und An- 
wendungen mit geringem Risiko, die keiner weiteren Regulierung bedürfen. 
Der Al-Act sieht unter anderem die Einführung von verpflichtenden Anfor- 
derungen für Hochrisiko-KI-Anwendungen vor sowie die Verpflichtung für 
Anbietende von KI-Systemen, eine Risikoanalyse durchzuführen und eine 
umfassende Dokumentation über ihr KI-System bereitzustellen. 

Die DIN-KI-Normungsroadmap hingegen ist eine Initiative des Deut- 
schen Instituts für Normung (DIN) zur Entwicklung von Normen und Stan- 
dards für Künstliche Intelligenz. Die Roadmap wurde 2020 erstmals veröf- 
fentlicht und definiert die wichtigsten Handlungsfelder für die Normung von 
KI-Technologien in Deutschland. Hierzu gehören unter anderem Themen 
wie Ethik und Sicherheit von KI-Systemen, Datenqualität und -zugang sowie 
Bildung und Qualifizierung im Bereich Künstlicher Intelligenz. 

Beide Initiativen, der EU-AI-Act und die DIN-KI-Normungsroadmap, 
sind wichtige Schritte zur Entwicklung einer verantwortungsvollen und 
moralischen Anwendung von KI-Technologien und zeigen das wachsende Be- 
wusstsein für die Bedeutung von KI-Normen und -Standards auf nationaler 
und internationaler Ebene. Im Kontext von Algorithmen, die im Konfliktfall 
moralisch kalkulieren sollen, muss ein Framework für eine ethische digitale 
Operationalisierung in der KI-Normung herausgearbeitet werden, das sowohl 
theoretisch fundiert als auch praktisch anwendbar ist. Dieses Framework soll 
dazu beitragen, dass die Normung von KI-Technologien nicht nur technisch 
korrekt, sondern auch ethisch verantwortungsvoll und gerecht erfolgt. 

Es gibt bereits einzelne internationale Standards zu KI: ISO/IEC 22989:2022 
(Informationstechnik - Künstliche Intelligenz), ISO/IEC DIS 23894:2022 (In- 
formationstechnik — Künstliche Intelligenz - Risikomanagement), ISO/IEC 
23053:2022 (Framework für Systeme der Künstlichen Intelligenz (KI) ba- 
sierend auf maschinellem Lernen (ML), ISO/IEC DIS 42001 (Information 
Technology - Artificial intelligence - Management system), ISO/IEC 5259 
(Artificial intelligence - Data quality for analytics and machine learning). Für 
die Implementierung von KI-Systemen in unterschiedlichen betrieblichen 
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Kontexten muss jedoch auch auf andere Normen und Standards zurück- 
gegriffen werden, wie etwa DIN-Normen zu Ergonomie (z.B. DIN EN ISO 
9241-112:2017, DIN EN ISO 9241-110:2020). 

Im Folgenden werden Inhalte der DIN-KI-Normungsroadmap und des 
EU-AI-Acts referiert, die an diesen Anspruch anknüpfen und ein entspre- 
chendes Framework bereitstellen können. Der Fokus liegt hierbei auf Kapitel 
4.4 der DIN-KI-Normungsroadmap »Soziotechnische Systeme«. Es sei voran- 
gestellt, dass es in der Normungsroadmap vor allem um die Implementierung 
von KI-Systemen in Unternehmen geht. Auf Institutionen und Behörden wird 
nicht gesondert eingegangen und es ist zu prüfen, ob sich die entsprechenden 
Normen auch auf das im Rahmen von KAIMo untersuchte Feld anwenden 
lassen. 


Soziotechnische Kl-Normung 


»Vom Produktentstehungsprozess über Inbetriebnahme und alltäglicher 
operativer Anwendung bis hin zur Außerbetriebsetzung sind nicht nur der 
Stand der technologischen Entwicklung sowie der spezifische Anwendungs- 
fall zu berücksichtigen, sondern auch die Grundsätze und Prinzipien einer 
menschengerechten und partizipativen soziotechnischen Gestaltung. Die- 
ses Erfordernis spiegelt sich bislang meist nicht in den korrespondierenden 
Normen wider.« (DIN-KI, 162) 


Da es im hier verhandelten Kontext um den Gebrauch von Algorithmen in so- 
zialen Konfliktfällen geht, werden die technischen Aspekte der KI-Normung 
ausgespart und dafür die soziotechnischen Zusammenhänge prominent her- 
vorgehoben. Als soziotechnische Systeme werden solche Systeme bezeichnet, 
in denen Mensch und Technik miteinander verknüpft sind und in Wechsel- 
wirkung zueinander stehen (Zweig et al. 2021, Schlick et al. 2010, Suchman 
2009). Auch KI-Technologien sind in diesem Kontext zu betrachten. Der ein- 
zelne Mensch, sein organisatorisches Umfeld und die Gesellschaft als Ganzes 
müssen in den Blick genommen werden, wenn Regeln und Normen hierfür 
aufgestellt werden sollen. 

Im EU Al-Act wird gefordert, dass Hochrisikosysteme mit Funktionen 
ausgestattet werden, die den Menschen aktiv einbinden. So soll es für al- 
le Betroffenen und Beteiligten ein hohes Maß an Transparenz geben, die 
menschliche Aufsicht soll gewährleistet und eine Art »Stopptaste« eingerich- 
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tet werden, die vom Menschen ausgelöst werden kann (EU AlI-Act, Artikel 14, 
4d). Der Mensch steht also immer im Mittelpunkt. Alle technischen Kompo- 
nenten müssen sich an den soziotechnischen Anforderungen ausrichten und 
an der gesamten Entwicklung müssen alle relevanten Akteur*innen beteiligt 
werden (partizipative Forschung und Design). 

In ihrer zweiten Ausgabe adressiert die DIN-KI-Normungsroadmap 
soziotechnische Aspekte wie die Mensch-Technik-Interaktion, die huma- 
ne Arbeitsgestaltung sowie Anforderungen an Unternehmensstrukturen 
und -prozesse in einem eigenen Kapitel (DIN-KI, 153-175). Bereits in den 
allgemeinen Handlungsempfehlungen zu Beginn wird die Empfehlung aus- 
gesprochen, »[d]en Menschen als Teil des Systems [zu] begreifen, und zwar 
in allen Phasen des KI-Lebenszyklus.« (DIN-KI, 35). Die Normungsroadmap 
fordert außerdem, »[glesellschaftliche und ethische Fragestellungen mithilfe 
etablierter Modelle [...] zu operationalisieren, messbar bereits bei der Entwick- 
lung der Technologie zu verankern und dabei auf dem Stand der Forschung 
zu Diskriminierungssensibilität aufzubauen« (DIN-KI, 36). Des Weiteren ist 
vorgesehen, dass eine adäquate Organisationskultur« etabliert wird. Konkret 
bedeutet das, dass in den individuellen Unternehmen oder Institutionen die 
relevanten Akteur*innen sensibilisiert, qualifiziert und in einem geeigneten 
Change Management im Prozess mitgenommen werden (DIN-KI, 36). 

Ein weiterer Anspruch, den die Roadmap in diesem Kontext formuliert, ist, 
dass die beteiligten Menschen über den gesamten Lebenszyklus von KI-Sys- 
temen hinweg mit Prozessen, Methoden und Tools unterstützt werden sol- 
len. Das setzt voraus, dass die vom System betroffenen und daran beteilig- 
ten Menschen auch in alle Phasen des KI-Lebenszyklus eingebunden werden. 
Normungsgremien müssen dafür konkrete Normen erarbeiten, die gewähr- 
leisten, dass die notwendigen Transparenzanforderungen und vor allem die 
menschliche Aufsicht über KI-Systeme eingehalten werden. Auch in der Erar- 
beitung dieser Normen müssen Menschen aus den unterschiedlichen betrof- 
fenen Zielgruppen berücksichtigt werden (z.B. Zivilgesellschaft). 

Die soziotechnische Perspektive zeigt auf, dass es bei KI nicht allein um die 
technische Machbarkeit geht, sondern dass der Kontext der jeweiligen Anwen- 
dung beachtet werden muss. Sie ist das »multiperspektivische »Gegengewicht« 
zu einer rein technikzentrierten Sicht auf KI« (DIN-KI, 156). 
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Entwicklung von KI-Systemen nach soziotechnischen Kriterien 


Laut der KI-Normungsroadmap reicht es nicht aus, die soziotechnische Per- 
spektive nur in der Entwicklung von KI-Systemen einzunehmen. Sie muss 
vielmehr über den gesamten Lebenszyklus des Systems betrachtet werden 
(vgl. ISO/IEC 22989:2022, ISO/IEC 23053:2022), da sich KI-Systeme in einem 
gewissen Rahmen weiterentwickeln. Dieser Rahmen muss in der Designpha- 
se abgesteckt werden. Ist das System bereits in Betrieb, kann immer nur ein 
Ausschnitt des Systemzustands zu einem bestimmten Zeitpunkt abgebildet 
werden. 

In der ersten Phase des KI-Systems, der Initialisierung, werden Ziel und 
Zweck der Anwendung definiert (vgl. ISO/IEC 22989:2022). Es wird geklärt, 
welche Anforderungen die KI innerhalb des soziotechnischen Systems erfüllen 
muss, also welches Problem sie lösen soll, welche Bedürfnisse ihre Zielgrup- 
pe hat und welche Erfolgsparameter es gibt. Dabei geht es nicht (nur) um 
die technische Machbarkeit, sondern »darum, auf Basis einer eingehenden 
Problemanalyse in einer gegebenen Situation von der Idee zur Entscheidung 
für ein KI-System zu gelangen und den Entwicklungsprozess anzustoßen« 
(DIN-KI, 159). Hier müssen auch ethische Aspekte einbezogen werden, z.B. 
anhand von ethics-by-design-Katalogen wie dem der Bertelsmann Stiftung 
(Puntschuh und Fetic 2020). Auch das WKIO-Modell der AI Ethics Impact 
Group liefert eine Methode, vorab definierte ethische Werte zu operationa- 
lisieren (VDE, Bertelsmann Stiftung 2020). Teil dieser Initialisierungsphase 
ist außerdem eine erste Risikoanalyse, die die soziotechnischen Folgen aus 
Sicht mehrerer Stakeholder identifiziert (ISO/IEC 23894:2022). Hier geht es 
nicht nur um technische und rechtliche Fragen, sondern auch und vor allem 
um ethische und soziale Folgen. So müssen die Fragen geklärt werden, welche 
Grundrechte oder -werte durch den Einsatz der Software potenziell berührt 
werden, was die beabsichtigten Auswirkungen der Software sind, wer vom 
Einsatz des algorithmischen Assistenzsystems betroffen ist, welche poten- 
ziellen Auswirkungen der Einsatz der Software auf die unterschiedlichen 
Stakeholder, Gesellschaft, Wirtschaft oder Umwelt hat, welche Risiken durch 
mögliche Fehler bei der Entwicklung oder dem Einsatz der Software entstehen 
können und welche Szenarien hier denkbar sind (Puntschuh und Fetic 2020). 
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Participation is Key 


Bevor die Entscheidung für ein KI-System getroffen wird, muss definiert 
werden, welche Personen (-gruppen) überhaupt davon betroffen sein werden 
und welche Bedürfnisse sie haben. Diese Personen müssen an der Entwick- 
lung und Implementierung des Systems unbedingt beteiligt werden (DIN- 
KI, 160). Nur, wer die Zielgruppe kennt, kann ein System entwickeln, das 
divers ist und keine stereotypischen Vorstellungen von Menschen (-gruppen) 
reproduziert. Ein möglicher Ansatz für die Einbindung von unterschiedlichen 
Betroffenen ist der Participatory-Design-Ansatz (vgl. Simonsen und Robert- 
son 2013). Gemeinsam werden Szenarien erarbeitet, die sich im jeweiligen 
Kontext mit Implementierung des KI-Systems ergeben können. So werden 
z.B. gemeinsam Prototypen entwickelt oder bestimmte Situationen simuliert. 
Nutzende erhalten auf diese Art ein besonderes Mitspracherecht, ohne selbst 
entsprechende technische Fachkenntnisse haben zu müssen. Im folgenden 
Entwicklungsprozess werden sie an der Evaluation des Systems beteiligt. Hier 
bieten sich Ansätze von XAI (Explainable Al) an, die über Visualisierung einen 
Zugang zu den zugrunde liegenden Softwarelogiken ermöglichen oder kriti- 
sche Entscheidungspunkte offenlegen. Grundsätzlich wäre die idealtypische 
Forderung bei der Planung und Gestaltung einer KI-Lösung, eine Vertretung 
aller Stakeholder zu beteiligen. 

Die ISO/IEC 22989:2022 unterteilt Stakeholder in: »AI-Provider«, »AI- 
Producer«, »AI-Customer«, »AI-Partner”innen«, »AI-Subject« und »Relevant 
Authorities«. Einzubeziehen sind z.B. Expert”innen mit Domänenwissen (KI- 
Expert”innen, Data Scientists, Informatiker*innen usw., Prozessgestaltende, 
Usability- Expert*innen, Produktgestaltende usw., Softwaretester*innen, Er- 
gonom”innen, Psycholog*innen usw., Sicherheitsexpert*innen in der jeweili- 
gen Domäne, Expert”innen für Ethik, Diversity, Fairness usw.), Expert*innen 
aus den betroffenen Fachabteilungen, Nutzende des KI-Systems, Interes- 
sensvertretungen von Betreibenden und Nutzenden, Entscheider*innen über 
den Einsatz der KI-Lösung, Vertreter*innen der Zivilgesellschaft, aber auch 
»überraschende« Stakeholder, also solche Personen, die nicht unmittelbar mit 
dem jeweiligen System zu tun haben, aber mittelbar betroffen sein können. 
Wie und in welchem Kontext die jeweiligen Stakeholder eingebunden werden, 
ist abhängig vom Zeitpunkt im Projektlebenszyklus, also während der Zielfin- 
dung, während der Planung und Gestaltung, während der Inbetriebnahme, 
im laufenden Betrieb bzw. im kontinuierlichen Verbesserungsprozess. 
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Die Kommunikation muss dabei immer zielgruppengerecht und inklusiv 
sein. So ist die Kommunikation zwischen den Expert*innen mit Domänen- 
wissen untereinander, zwischen den Expert*innen mit Domänenwissen und 
den Nutzenden, zwischen Nutzenden und Technik, zwischen Expert”innen 
und sonstigen Beteiligten jeweils unterschiedlich. Um die Beteiligung gut 
durchzuführen, können einschlägige Normen und Standards (z.B. VDI-MT 
7001:2021) herangezogen werden. Zu beachten ist darüber hinaus, dass die 
Beschäftigten entsprechende Kompetenzen erwerben müssen, um mit dem 
System richtig umgehen zu können. Entsprechende Schulungen müssen 
frühzeitig durchgeführt und am Wissensstand der Beschäftigten ausgerichtet 
werden. 


Kl-Systeme - Werkzeuge oder Agenten? 


Wenn IT-Systeme (insbesondere KI) soziotechnisch gestaltet werden, müssen 
sie geeignet sein, (Arbeits-)Aufgaben von Menschen in unterschiedlichen Rol- 
len und im Nutzungskontext zu unterstützen. Das bedeutet zum Beispiel, dass 
die Schnittstellen ergonomisch gestaltet werden müssen. Die Nutzenden sol- 
len vom KI-System dabei unterstützt werden, Aufgaben effektiv, effizient und 
zufriedenstellend zu erledigen. Dabei müssen zunächst die Bedürfnisse der 
Nutzenden erkannt und analysiert werden. Methoden der partizipativen So- 
zialforschung sind hier das Mittel der Wahl. 

In der Normungsroadmap wird konstatiert, dass KI-Systeme nicht nur 
als technische Werkzeuge wahrgenommen werden. Vielmehr sollen sie als 
»eine neue Klasse von Agenten in der Organisation« (Raisch und Krakowski 
2020) betrachtet werden. Die Interaktion zwischen Menschen und diesen 
neuen nichtmenschlichen Agenten wird in Autonomiestufen unterteilt. So 
soll die KI etwa nur dann eine Aufgabe erledigen können, wenn ein Mensch 
die Bestätigung dafür gibt, oder es muss möglich sein, dass der kontrollie- 
rende Mensch ein Veto gegen die Entscheidungen einer KI einlegt. Auf einer 
höheren Autonomiestufe handelt die KI vollständig autonom und der Mensch 
wird nur dann informiert, wenn er konkret nachfragt. Die höchste Stufe von 
Autonomie ist dann erreicht, wenn die KI handeln kann, ohne den Menschen 
einzubeziehen. 

Bislang wurden in Konzepten wie Ergonomics/Human Factors (EHF) sta- 
tische technische Systeme betrachtet (z.B. stationare Maschinen). KI-Systeme 
sind jedoch inhaltlich und zeitlich dynamisch. Deshalb muss das EHF-Gestal- 
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tungskonzept erweitert werden, damit die Dynamik von Schnittstellen, Funk- 
tionsweisen und Auswirkungen auch für Menschen passend gestaltet werden 
können. So werden etwa auch menschliche Eigenschaften wie Empathie mit 
einbezogen (Andre und Bauer 2021, Höddinghaus et al. 2021, Brynjolfsson et 
al. 2018, Moray 1989). Werden Systeme nach soziotechnischen Grundsätzen 
gestaltet, werden Technologieeinsatz und Organisation gemeinsam optimiert 
(»joint optimization«) (vgl. Cherns 1976&1987, Ulich 2013). 


Die KI als gesellschaftliche Akteurin 


Neben der Organisation und dem (individuellen) Menschen, spielt in sozio- 
technischen Systemen auch die umgebende Gesellschaft eine entscheidende 
Rolle. Sie bildet die Schnittstelle von Individuum und Organisation. Be- 
stehende Ungleichheitsverhaltnisse oder Diskriminierung, die innerhalb der 
Gesellschaft bestehen, können sich in KI-Anwendungen verfestigen. Tech- 
nologien, die menschliche Intelligenz nachahmen sollen, können deshalb 
niemals objektiv oder neutral sein (Benjamin 2019), da sie eben immer in 
eine von bestimmten Werten - und damit einhergehend: sozialen Heraus- 
forderungen - geprägten Gesellschaft eingebettet sind. Nutzen Menschen 
solche Technologien, beeinflussen sie diese und umgekehrt (Suchman 2007). 
Besonders deutlich wird das beim Maschinellen Lernen: Hier reagieren Soft- 
wareprogramme dynamisch und adaptiv auf ihre Nutzer*innen (Pentenrieder 
et al. 2020). Betrachtet man Mensch und Maschine auf diese Weise, wird 
die bisherige Konzeption von autonomen und strikt trennbaren Entitäten 
in Frage gestellt. Menschliche und maschinelle Akteur*innen ergeben durch 
Kollaboration und Interaktion ein Ganzes (Suchman 2007). 


Training des Kl-Systems: Das Datenset 


Wird ein konsistentes soziotechnisches Mensch-Technik-Organisation- 
Modell verwendet, müssen zentrale Fragen der Einführung, Nutzung und Fol- 
geabschätzung von KI bearbeitet werden (Huchler et al. 2020, Stowasser und 
Suchy 2020). Die erste Frage betrifft dabei die Daten, auf deren Grundlage die 
KI entwickelt wird und den Zweck, dem sie dienen soll. Als zweites stellt sich 
die Frage, wie das menschliche Verhalten durch den Einsatz der KI beeinflusst 
wird z.B. Autonomie oder Entscheidungsdilemmata. Die dritte Frage betrifft 


Cecilia Colloseus: Normung und Standardisierung von Kl-Systemen 


das Verhältnis zwischen KI und menschlichen Bedürfnissen und die vierte 
Frage die systemischen Folgewirkungen. Hier geht es sowohl um die Wirkun- 
gen innerhalb des Systems als auch in den Subsystemen, der Systemumwelt 
und Gesellschaft (DIN-KI, 155). Zur ersten Frage sei erläutert: KI-Systeme 
müssen anhand spezifischer Daten trainiert werden, um in den betrieb- 
lichen Einsatz überführt werden zu können. Die Auswahl der Trainings-, 
Validierungs- und Testdaten muss dabei so erfolgen, dass Diskriminierung 
vermieden wird. Außerdem müssen die Daten auf ihre Qualität hinsichtlich 
des geplanten Einsatzes überprüft werden: Sind genug Daten vorhanden, 
sind sie konsistent, sind die Daten aktuell, befinden sich falsche Daten im 
Set etc.? Auswahl, Training, Verifizierung und Validierung der verwendeten 
Datensätze und die Testung der KI-Lösung sind adäquat zu dokumentieren. 
Es ist hinlänglich bekannt, dass Menschen systematisch Entscheidungs- 
fehler machen (Kahnemann und Tversky 1982). In dieser Hinsicht sind ihnen 
KI-Systeme ähnlich, denn auch sie können in ihrer Entwicklung und im 
Einsatz Bias-Effekte oder Entscheidungsfehler bezüglich der Fairness ver- 
ursachen. Als »Bias« werden unerwünschte Verzerrungen bezeichnet, die 
entweder bereits bei der Erhebung der Datensätze oder durch die Selektion 
bzw. Art ihrer Verarbeitung aufkommen können. Diese Bias-Effekte sind 
jedoch bedingt durch menschliche Designentscheidungen (z.B. Datenbank 
und Logik) und die dem jeweiligen Einsatzgebiet zugrunde liegenden Vor- 
annahmen. Die Rechenschaftspflicht und die Gewährleistung von Fairness 
liegen also beim Menschen. Bei Bias-Effekten sind die Faktoren Unsicherheit 
und Risiko zu beachten. Als Risiko wird bezeichnet, wenn ein bestimmter 
bekannter Umweltzustand mit einer empirisch ermittelten Wahrscheinlich- 
keit eintreffen kann. Risiko ist also quantifizierbar und potentiell steuerbar. 
Unsicherheit hingegen bedeutet, dass weder die möglichen Umweltzustände 
noch die mögliche Eintrittswahrscheinlichkeit bekannt sind (DIN-KI, 156). Al- 
gorithmen für Risikosituationen und -abschätzung wägen das Risiko in Form 
von Eintrittswahrscheinlichkeiten und gewünschten Optimierungslevels ab 
(Kahnemann und Tversky 1982). Dabei wird deutlich, dass die menschliche 
Wahrnehmung bei der Analyse, Gestaltung und Bewertung von KI-Systemen 
eine entscheidende Bedeutung hat. Zur Einschätzung der Risiken gehört 
auch, Ansprüche an Transparency und Rechenschaftspflicht zu formulieren. 
Welche Informationen müssen für wen offengelegt werden? Mit welcher tech- 
nischen Tiefe müssen Informationen angereichert werden, um gleichzeitig 
hilfreich und verständlich zu sein? Wer ist rechenschaftspflichtig im Scha- 
densfall? Im Anschluss an das Risiko-Assessment müssen Kosten, Aufwand 
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und Ressourcen für die Umsetzbarkeit der Anwendung ermittelt werden (vgl. 
ISO/IEC 22989:2022). 


Soziale Nachhaltigkeit im soziotechnischen Kontext 


KI-Anwendungen müssen bestimmten Nachhaltigkeitskriterien genügen und 
parametrisierbar sein in Bezug auf quantitative Zielsetzungen. 


»Im Hinblick auf die Entwicklung, Nutzung und den Einsatz von KI-Sys- 
temen bedeutet Nachhaltigkeit vor allem, dass die Würde des Menschen 
respektiert wird, keine Menschen ausgeschlossen, benachteiligt oder dis- 
kriminiert werden und die menschliche Autonomie und Handlungsfreiheit 
durch KI-Systeme nicht eingeschränkt werden dürfen. In einer erweiterten 
Perspektive auf Nachhaltigkeit bedeutet soziale Nachhaltigkeit auch, dass 
neben körperlicher Unversehrtheit und menschenwürdigen Lebensbedin- 
gungen auch die Fähigkeit, auf menschliche Art und Weise zu denken, zu 
argumentieren und zu handeln, nicht eingeschränkt werden sollte. Hier 
zeigt sich schon, dass ein umfassendes Verständnis von sozialer Nachhaltig- 
keit sehr weitreichende Konsequenzen für die Gestaltung von KlI-Systemen 
hat.« (Rohde et al. 2021). 


Gesetze und Normen können nicht jedes Detail regeln. Subsidiäre Aus- 
handlungssysteme, z.B. auf betrieblicher Ebene und individuelle Entschei- 
dungsrechte müssen hier ergänzend eingesetzt werden. Muhammad (2022) 
konstatiert, dass KI-Systeme Individuen und Gruppen Schaden zufügen 
können und etabliert verschiedene Typen von Fehlern, die in diesem Kontext 
passieren können: 


+  »Vergabe-Fehler«: Das System hält Möglichkeiten, Ressourcen oder Infor- 
mationen zurück oder stellt sie unfair zur Verfügung. 

+  »Servicegüte-Fehler«: Das System arbeitet nicht für alle Gruppen ähnlich 
gut. 

e »Reprasentations-Fehler«: Die Entwicklung oder die Verwendung eines 
Systems repräsentiert Gruppen unterschiedlich. 

e »Stereotyp-Fehler«: Das System reproduziert und verstärkt Stereotypen, 
indem beispielsweise stereotypische Charakteristika unreflektiert allen 
Angehörigen einer Gruppe zugewiesen werden. 
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+  »Verunglimpfungs-Fehler«: Das System wird aktiv abwertend oder belei- 
digend. 

e  »Prozess-Fehler«: Das System trifft Entscheidungen aufgrund von Charak- 
teristika, die nicht für die Aufgabe relevant sein sollten (DIN-KI, 156f.) 


Im Datenschutz müssen die Grundprinzipien Zweckfeststellung bzw. Zweck- 
bindung von Daten, Erforderlichkeit der Datensammlung, Transparenz, Da- 
tenvermeidung und Datensparsamkeit eingehalten werden. Diese Prinzipien 
gelten auch für die Gestaltung soziotechnischer Systeme. 

Für ethische Betrachtungen wurden Gütesiegel vorgeschlagen, die auf 
Wertanalyseverfahren aus einer Kombination von Zielkriterien, Indikatoren 
und messbaren Größen beruhen. Die Bewertung dieser normativen Anforde- 
rungen sollten sich auftechnische Prüfungen stützen können. 

Anwendungsspezifische Anforderungen bringen normative Grundsätze 
in die konkrete Anwendung und fügen spezielle Einsatzanforderungen hinzu. 
Sie bilden die Grundlage der Risikoeinstufung gemäß AI Act, greifen dabei 
relevante ethische Aspekte auf, nutzen das New Legislative Framework, um 
komponentenweise die Konformitätsvermutung von Herstellenden zu un- 
terstützen und formulieren im Grundsatz Anforderungen an das gesamte 
technische System, in das KI eingebettet ist. Hierbei geht es um die vertikale 
Bewertung von KI, bei der geprüft wird, ob die KI für einen bestimmten 
Einsatzzweck geeignet ist (DIN-KI, 128). 


Funktionsteilung Mensch-Technik 


In der Funktionsteilung zwischen Mensch und KI-System gilt das Primat der 
(Arbeits)Aufgabe. Die Gestaltung der Aufgabe steht also am Anfang des Ge- 
staltungsprozesses und ordnet ihr die Gestaltung der Ausführungsbedingun- 
gen unter (Hacker und Sachse 2014, Ulich 2011, DIN EN 614-2:2008). Der Au- 
tonomiegrad des KI-Systems wird repräsentiert durch die Funktionsteilung. 
Die einschlägigen Normen sind dahingehend zu prüfen, ob sie die verschiede- 
nen Autonomiegrade berücksichtigen. Für die Funktionsteilung wird die von 
Fitts (1951) entwickelte HABA MABA-Liste (= »humans are better at« — »ma- 
chines are better at«) herangezogen. Es kann aber keine starre Funktionszu- 
teilung zwischen Mensch und Technik vorgenommen werden, da diese Sub- 
systeme nicht mechanistisch zusammenwirken. Außerdem pauschaliert eine 
solche verkürzende Dartstellungsweise Fertigkeiten, Fähigkeiten und Wissen 
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des Subsystems Mensch und beachtet die Dynamik und Weiterentwicklung 
der Subsysteme nicht. Auch wird die Lebenszyklusperspektive für beide Sub- 
systeme nicht berücksichtigt. Die Funktionsteilung kann sich aber abhängig 
von der Situation dynamisch ändern, z.B. wenn der Mensch in einer Gefah- 
rensituation eingreifen muss. Zu dieser Adaptivität gibt es aktuell noch keine 
Normung. 

In der dynamischen Funktionsallokation kann es zu »Ironien der Automa- 
tisierung« kommen (vgl. Bainbridge 1987). Das bedeutet, dass mit der Auto- 
matisierung die Systemkomplexität steigt und neue Aufgaben der Überwa- 
chung, Steuerung und Korrektur entstehen, für die der Mensch nicht ausrei- 
chend qualifiziert ist. Wenn Funktionsteilung und Automatisierung gestaltet 
werden, muss diese »Ironie« berücksichtigt werden und in die relevanten Nor- 
men und Standards einfließen. 

Entscheidend ist außerdem das Menschenbild: 


»Wird der Mensch vom Entwickelnden als Fehlerquelle gesehen, so wird die 
Gestaltung tendenziell versuchen, den Einfluss des Menschen im KI-System 
weitgehend zu reduzieren. Wird das Kl-System hingegen als Unterstützung 
für den Menschen betrachtet, so wird die Funktionsteilung eher komple- 
mentär erfolgen.« (DIN 166) 


Im Interesse einer menschenzentrierten KI-Nutzung sollte dem Leitbild einer 
komplementären Funktionsteilung der Vorzug gegeben werden. 

Um ein KI-System sinnvoll nutzen zu können, müssen auch die Organisa- 
tion und Prozesse, in die es eingebettet ist, aufeine bestimmte Weise gestaltet 
werden: So muss ein Vertrauen in die Automation etabliert werden und die 
Potentiale für Belastung und Beanspruchung durch die Nutzung des KI-Sys- 
tems (z.B. Technikstress) erhoben werden (vgl. DIN-EN-ISO-10075-Reihe). Es 
müssen systemische Effekte mitbedacht werden (z.B. Aufschaukelungseffekte 
durch den Eingriff des Menschen in das KI-System) und die veränderte Risiko- 
kompensation der Nutzenden sowie deren Folgen beim (unbemerkten) Ausfall 
des Systems. 

Die Qualifizierung der Nutzenden, die partizipative Gestaltung und ein 
geeignetes Change Management sind hier entscheidend. Es ist zu prüfen, in- 
wieweit diese Aspekte in den relevanten Normen und Standards (z.B. DINEN 
ISO 27500:2017, VDI/VDE-MT 7100, DIN EN ISO 9001:2015) abgebildet sind. 

Grundsätzlich sind bezogen auf Mensch-Technik-Interaktionen in so- 
ziotechnischen Systemen drei hierarchisch strukturierte Schnittstellen mit 
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jeweils darauf bezogenen Gestaltungsprinzipien von besonderem Interesse: 
Aufgabenschnittstelle, z.B. nach DIN EN 614-2:2008, Reihe DIN EN ISO 
11064:2011, Interaktionsschnittstelle, z.B. nach DIN EN 894-1:2009, DIN EN 
ISO 9241-11:2018, DIN EN ISO 9241- 110:2020, ISO/IEC 29138-1:2018, Infor- 
mationsschnittstelle, z.B. nach VDI/VDE 3850-1:2014, ISO 9241-112:2017). 


Implementierung der Kl-Lösung im soziotechnischen System 


Ist die Entscheidung für den KI-Einsatz gefallen und die Grob- und Feinpla- 
nung der KI-Lösung abgeschlossen, muss ihre Inbetriebnahme anhand von 
Projektmanagement-Normen geplant werden (z.B. DIN ISO 21500:2016, Reihe 
DIN 69901, Reihe DIN 69909). Dabei muss geprüft werden, ob KI-Projekte hin- 
sichtlich des Projektmanagements Besonderheiten aufweisen, die bei Bedarf 
in der Normung abzubilden sind. 

Die weiteren Entwicklungsschritte erfolgen iterativ. So können Informa- 
tionen, die im Betrieb des Systems neu hinzukommen, eine Rückkehr zu den 
Schritten in der Initialisierungsphase erforderlich machen. Der Prozess orien- 
tiert sich an den Schritten »Design und Entwicklung« und »Verifikation und 
Validierung« der ISO/IEC 22989:2022. Die in dieser Phase entwickelte Grob- 
lösung des KI-Systems wird für die Inbetriebnahme vorbereitet. Alle Betei- 
ligten, etwa die Betreibenden des KI-Systems, spätere Nutzende des KI-Sys- 
tems, Interessensvertretungen von Betreibenden und Nutzenden, Vertreten- 
de der Zivilgesellschaft, aber auch »überraschende Stakeholder«, müssen in 
dieser Phase einbezogen werden. Nur so kann die Umsetzung von ergonomi- 
schen Grundsätzen und Prinzipien sowie eine gebrauchstaugliche Gestaltung 
von Produkten und Arbeitsmitteln gewährleistet werden. 


Mensch, Technik, Organisation 


Soziotechnische Systeme werden immer von sachlichen (technisch-organisa- 
torischen) und menschlichen (persönlichen) Gegebenheiten beeinflusst (z.B. 
DIN EN ISO 6385:2016). Deshalb sind Mensch, Technik und Organisation stets 
in ihrer gegenseitigen Abhängigkeit und ihrem Zusammenwirken zu reflektie- 
ren (MTO-Konzept). Die Gestaltungsdimensionen eines KI-Systems ergeben 
sich daher also aus den Elementen Mensch, Technik und Organisation sowie 
aus deren Schnittstellen (Mensch-Technik, Mensch-Organisation und Organi- 
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sation-Technik). Aus den identifizierten Gestaltungsdimensionen resultieren 
verschiedene Normen und Standards, die für die Planung und Gestaltung des 
jeweiligen Systems heranzuziehen sind. 

Bei der Planung und Gestaltung jedes KI-Systems ist zwingend eine 
Analyse des zugrunde liegenden soziotechnischen Systems durchzuführen. 
Im Arbeitskontext ist das soziotechnische System das »Arbeitssystem« (vgl. 
Ulich 2013). Laut DIN EN ISO 6385:2016 ist das Arbeitssystem ein »System, 
welches das Zusammenwirken eines einzelnen oder mehrerer Arbeiten- 
der/Benutzer*innen mit den Arbeitsmitteln umfasst, um die Funktion des 
Systems, innerhalb des Arbeitsraumes und der Arbeitsumgebung unter den 
durch die Arbeitsaufgaben vorgegebenen Bedingungen, zu erfüllen«. 

Ethische Aspekte sind bei der Planung und Gestaltung des soziotech- 
nischen Systems stets zu beachten und für den gesamten Lebenszyklus des 
KI-Systems zu gestalten. Dazu zählen z.B. Transparency, Accountability, Pri- 
vacy, Justice, Reliability und Sustainability (z.B. AI Ethics Label der AI Ethics 
Impact Group, VDE 2020). 

Die einschlägigen Normen bzw. Standards zu KI (z.B. ISO/IEC 22989, 
ISO/IEC 42001, DIN SPEC 92001 Reihe, DIN SPEC 92001-2:2020, DIN SPEC 
92001-3, ISO IEC 25059:2022), Ergonomie & Organisation (z.B. DIN EN ISO 
6385:2016, DIN EN ISO 26800:2011, DIN EN ISO 9241 Reihe, Reihe, DIN EN 
ISO 27500:2017, VDI/VDE-MT 7100) und Ethik (VDE SPEC 90012, IEEE 7000 
Serie, ISO IEC/TR 24028) berücksichtigen die resultierenden Anforderungen 
aus der soziotechnischen Gestaltung eines KI-Systems noch nicht hinrei- 
chend und lassen oft die Wechselwirkungen zwischen Mensch, Technik und 
Organisation außer Acht. 


Überprüfung des KI-Systems im Regelbetrieb 


In regelmäßigen Abständen muss überprüft und entschieden werden, ob die 
gewünschte Funktionsweise an geänderte Rahmenbedingungen angepasst 
werden muss. Im Betrieb können Echtdaten (je nach Anwendungsfeld anony- 
misiert oder pseudonymisiert) gesammelt und für die relevanten Akteur”in- 
nen im soziotechnischen System verständlich und transparent aufbereitet 
werden. So kann das System kontinuierlich verbessert werden. 

Auch in diese kontinuierliche Evaluierung und Anpassung des Systems 
sollten die Betroffenen eingebunden werden. Ihre Erfahrungen sind die 
Grundlage für nötige Verbesserungen (Stowasser und Suchy 2020). Da- 
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für wird eine technische Lösung mit einem Transparency-by-Design- bzw. 
Transparency-by-Default-Ansatzes benötigt, die Menschen ermöglichen, den 
Überblick zu behalten. Das kann als Modul im System erfolgen oder durch ein 
eigenständiges Command Tool. 


Die Stopptaste 


Personen, die innerhalb des Systems eine Expert*innenrolle einnehmen, wer- 
den unter dem Begriff High Level Expert Group (HLEG) zusammengefasst. 
Sie gewährleisten die menschliche Aufsicht über das KI-System und werden 
dann als »Human-in-the-Loop (HITL, im Entscheidungszyklus der KI invol- 
viert), Human-on-the-Loop (HOTL, beim Design der KI und im Monitoring 
involviert) oder »Human in Command« (HIC, soll die Gesamtaktivität inklusi- 
ve breitere ökonomische, soziale, rechtliche und ethische Auswirkungen über- 
blicken können)« (DIN-KI, 169) bezeichnet. Der HIC wird im EU-AI-Act pro- 
minent vorgestellt und soll v.a. für Hochrisikosysteme, über geeignete Inter- 
ventionsmöglichkeiten verfügen. Dazu zählt auch das Auslösen einer »Stopp- 
taste« für die KI (Heesen et al. 2021). »Stopptaste« bedeutet nicht, eine KI-Pro- 
zedur bei Zweifeln zu unterbrechen, sondern »die Möglichkeit, einer durch 
KI getroffenen Entscheidung nicht zu folgen oder die KI-Nutzung für einen 
bestimmten Zeitraum auszusetzen und stattdessen Menschen entscheiden zu 
lassen«. (DIN-KI, 169) 

Menschliche Interventionen sollten immer möglich sein. Etwa sollten 
Menschen Ausnahmen von den Entscheidungen der KI treffen können, oder 
Parameter des Systems (Schwellenwerte, Eingangsgrößen) rekonfigurieren. 
Der Ansatz »keep the human in the loop« betrachtet einzelne Individuen im 
Verhältnis zur KI. Demgegenüber steht das Gestaltungsprinzip »keep the 
organization in the loop«. Es sollen also auch die Interaktion der relevanten 
Stakeholder betrachtet und laufend optimiert werden (Hermann 2020). 


Erklärbarkeit 


Es ist von großer Bedeutung, dass KI-Systeme erklärt werden können (Exp- 
lainable AI, XAI). Nutzende sollten verstehen können, welche Inputs zu wel- 
chen Outputs führen, welche Aspekte im Vorhinein festgelegt werden können 
und welche durch Erklärbarkeitsmetriken identifiziert oder im Nachhinein 
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über Zielkorridore ermittelt werden. Bei der Entwicklung von soziotechni- 
schen Systemen werden Ziele und Maßnahmen unter Berücksichtigung von 
Folgeabschätzungen definiert, aber nicht alle Entscheidungen können im 
Voraus getroffen werden, da sich Rahmenbedingungen ändern können und 
unbeabsichtigte Effekte auftreten können. Veränderungen des Datensatzes 
im Betrieb des KI-Systems können durch Methoden im Bereich »Drift« er- 
kannt werden und sollten eine Standardfunktion im KI-System sein. Eine 
kontinuierliche Überprüfung und Bewertung der Ziele und Entscheidungen 
in Bezug auf das KI-System ist notwendig und sogar verpflichtend für Hochri- 
sikosysteme gemäß AI Act, Art. 61. Dabei müssen wichtige Fragen beantwortet 
werden, wie z.B. ob weitere Ziele berücksichtigt werden müssen, ob die Funk- 
tionsweise noch korrekt ist und ob Probleme erkannt werden können. »Near 
Misses« (beinahe Ausfälle) sind oft wertvolle Einblicke in das System, wenn es 
an seinen Grenzen betrieben wurde. Es ist wichtig, Berichtsstrukturen über 
Ausfälle oder fast-Ausfälle zu schaffen, um KI-Systeme zu verbessern und 
zukünftige Systemresilienz sicherzustellen oder Risiken zu simulieren. Es 
ist auch ratsam, regelmäßig zu überprüfen, ob es grundlegende Änderungen 
in der KI-Technologie gibt, die die eigene Lösung verbessern oder ersetzen 
könnten. 


Zusammenfassung und Ausblick 


Wie der EU-AI-Act und die DIN-Normungsroadmap KI zeigen, ist die Not- 
wendigkeit von Normung und Standardisierung im Kontext von KI von 
den zuständigen Gremien erkannt worden. Wie bei allen technischen Ent- 
wicklungen zuvor, wird es auch für KI-Anwendungen unvermeidbar sein, 
Zertifizierungen und entsprechende Audits durchzuführen. KI-Systeme, die 
dabei helfen sollen, im Konfliktfall moralisch zu kalkulieren, fallen in die 
Kategorie »Hochrisikosystem« und müssen strengen Normen und Standards 
entsprechen. Diese müssen mit Bedacht festgesetzt werden. Wie in diesem 
Beitrag dargelegt wurde, ist es entscheidend, vor Einführung eines KI-Sys- 
tems die tatsächlichen Bedarfe zu identifizieren. Allen voran muss die Frage 
geklärt werden, ob der Einsatz einer KI wirklich notwendig und sinnvoll ist, 
oder ob eine andere Lösung gefunden werden kann. Fällt die Entscheidung 
zugunsten der KI aus, müssen die davon Betroffenen in jeden Schritt der 
Entwicklung der individuellen KI-Lösung einbezogen werden. 
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Vertrauen im Kontext - 
Messung und Operationalisierung 


Susanna Wolf, Jan Fiete Schütte, Marc Hauer, Christopher Koska 


Einleitung 


Vertrauen ist fiir den Erfolg von datengetriebenen Unternehmungen ein ent- 
scheidender Faktor. Vor allem mit Blick auf die radikalen Umbriiche, die durch 
die Einführung von neuen Technologien ausgelöst werden, gilt Vertrauen für 
viele Unternehmen als die wichtigste Ressource (Benrath 2019). Insbesonde- 
re wenn personenbezogene Daten erhoben und verarbeitet werden, müssen 
User z.B. darauf vertrauen können, dass ihre Daten sicher sind und alle Betei- 
ligten verantwortungsbewusst mit ihren Informationen umgehen. Wenn ein 
Unternehmen das Vertrauen verliert, kann das schwerwiegende Auswirkun- 
gen haben, beispielsweise den Verlust von Mitarbeitenden oder Kundschaft. 
Dies kann zu negativen Reputationseffekten führen, aber auch zu rechtlichen 
Konsequenzen und großen finanziellen Schäden. Positiv gewendet kann Ver- 
trauen ein wichtiger Wettbewerbsvorteil sein. Wenn User die Wahl zwischen 
verschiedenen IT-Unternehmen haben, gibt es Tendenzen, dass sie in der Re- 
gel demjenigen gegenüber am loyalsten sind, dem sie am meisten vertrauen 
(Capgemini 2017). Deshalb ist es für Unternehmen unerlässlich, Vertrauen in 
ihre digitalen Produkte und Dienstleistungen aufzubauen und aufrechtzuer- 
halten. Doch was ist eigentlich Vertrauen? Und wie lässt es sich messen und 
operationalisieren? 

Ein Blick auf die Vertrauensforschung zeigt: Es gibt kein allgemeingültiges 
Erfolgsrezept, um Vertrauen in IT-Unternehmen aufzubauen oder zu festigen. 
Vertrauen ist graduell und entzieht sich einer eindimensionalen Messung. Der 
Akt des Vertrauensschenkens hängt u.a. von der subjektiven Bereitschaft ab, 
sowie von der konkreten Situation, in der sich diese Personen oder Personen- 
gruppen zu einem bestimmten Zeitpunkt befinden, aber auch von der spe- 
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zifischen technologischen Anwendungspraxis. Deshalb lassen sich die Mess- 
größen von Vertrauen rein als Variablen im Rahmen eines mehrdimensiona- 
len Vertrauensmodells kategorisieren. Die Metriken, die für die Messung und 
Operationalisierung von Vertrauen in datengetriebenen Projekten verwendet 
werden, lassen sich nur über den jeweils konkreten Anwendungskontext be- 
stimmen. 

Dieser Beitrag stellt ein Konzept zur kontextspezifischen Operationali- 
sierung und Messung von Vertrauen für datengetriebene Geschäftsmodelle 
vor. Das Konzept baut auf den Erkenntnissen und Erfahrungen des interdis- 
ziplinär agierenden Datenethik-Hubs auf, der initial als Community of Practice 
organisiert und von DATEV zur Umsetzung der unternehmensinternen Direc- 
tive Datenethik (DATEV 2021) ins Leben gerufen wurde (PWC 2023).' Im ersten 
Schritt wird die begriffliche Grundlage für das hier vorgeschlagene Konzept 
entwickelt. Anschließend wird in einem zweiten Schritt ein Werkzeug vor- 
gestellt, welches für vorhandene Datenbestände u.a. Verantwortlichkeiten 
und zulässige Verarbeitungszwecke katalogisieren kann und sich bei DATEV 
als eine zusätzliche Option für die verantwortungsbewusste Operationalisie- 
rung einer vertrauenswürdigen Datennutzungspraxis etabliert. Im dritten 
Schritt werden verschiedene Ansätze und Methoden zur Messung von Ver- 
trauenswürdigkeit vorgestellt. Der vierte Schritt beinhaltet die konzeptionelle 
Erweiterung des Datenkatalog-Modells, um den Boden für die kontextspezi- 
fische Messung von Vertrauen vorzubereiten. Eine abschließende Reflexion 
fasst die Ergebnisse zusammen. Ziel des Artikels ist es, in den akademischen 
Diskurs zur Operationalisierung und Messung von Vertrauen einen praxisori- 
entierten Beitrag einzubringen, indem er abstrakte Vertrauenskonzeptionen 
kritisch hinterfragt und anwendungsbezogen erweitert. 


1 Mit dem Projekt »Digitale Verantwortung leben. Datenethik bei DATEV« hat das Soft- 
wareunternehmen 2021 den CDR Award (Corporate Digital Responsibility Award), ver- 
liehen von BVDW und Bayern Innovativ, in der Kategorie »CDR und Mitarbeitende« ge- 
wonnen. Ausgezeichnet wurde das Projekt, da die Directive Datenethik »DATEV Da- 
tenethik-Leitlinie«) im Rahmen eines partizipativen Prozesses gemeinsam mit diver- 
sen Stakeholdern und Mitarbeitenden entwickelt und anschließend in einer initialen, 
bereichsübergreifenden Community of Practice, dem sogenannten Datenethik Hub, 
nachhaltig in der Organisationsstruktur verankert wurde. 
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Begriffliche Eingrenzung des Untersuchungsgegenstandes 


Die sozialwissenschaftliche Organisationsforschung unterscheidet drei For- 
men von Vertrauen anhand eines Ebenenmodells (Wagenblass 2018, 1803): 


e Auf der Makroebene wird das Vertrauen in gesamtgesellschaftliche Veran- 
derungsprozesse diskutiert, also z.B. ganz grundsätzlich das Vertrauen in 
digitale Transformation, in Künstliche Intelligenz oder in Technik. Auch 
wenn wir im politischen Kontext vom Vertrauen in Demokratie oder im 
wirtschaftlichen Kontext vom Vertrauen in den materiellen Wert von Geld 
sprechen, dann befinden wir uns, wie Luhmann (1968) gezeigt hat, auf der 
Ebene des generalisierten Vertrauens oder Systemvertrauens. 

e Auf der Mesoebene wird das Vertrauen in konkrete Institutionen oder pro- 
jektbezogene Kooperationen adressiert. Die Vertrauenswürdigkeit von be- 
stimmten Unternehmen, Institutionen und organisationsübergreifenden 
Kooperationen beruht hier insbesondere auf institutionalisierten Prozes- 
sen und Strukturen. Auf dieser Ebene geht es folglich um ein sehr spezifi- 
sches Vertrauen. 

e Auf der Mikroebene wird das Vertrauen als ein Moment diskutiert, der 
aus der Interaktion und Beziehung zwischen den Vertreterinnen einer 
bestimmten Institution und den Vertrauensgebenden entstehen, bei- 
spielsweise zwischen den Mitarbeitenden eines Unternehmens und der 
Kundschaft eines Unternehmens. Auf dieser Ebene geht es vor allem 
darum, persönliches Vertrauen aufzubauen. 


Im Fokus dieses Beitrags steht das spezifische Vertrauen, beispielsweise in ei- 
ne konkrete Institution, also die Mesoebene. Darüber hinaus möchten wir zei- 
gen, inwiefern das Vorgehen hierbei (insbesondere durch die Integration in 
eine CDR-Strategie)* auch positiv auf das generalisierte Vertrauen bzw. Sys- 
temvertrauen (Makroebene) einzahlt und von persönlichem Vertrauen (Mikro- 
ebene) getragen wird. Für die weitere Eingrenzung des Untersuchungsgegen- 
standes sind ferner analytische Vertrauensmodelle hilfreich, die zwischen ver- 
trauensgebender Instanz (A), Vertrauensobjekt (X) und vertrauensnehmender 


2 Einen wissenschaftlichen Einstieg in das Konzept der Corporate Digital Responsibility 
bietet u.a. Filipović (2023). 
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Instanz (B) unterscheiden (Michalski 2019, 44).? In unserem Fall ist die vertrau- 
ensnehmende Instanz (B) ein datenverarbeitendes Unternehmen. Für dieses 
Unternehmen ist es in einem nächsten Schritt hilfreich - mit Blick auf das 
Vertrauensobjekt (X) - zwischen der externen und internen Wert-Ebene von 
Vertrauen zu differenzieren (van de Poel 2013, 135ff): 


« Intern: Aspekte wie Sicherheit, Verlässlichkeit, Robustheit, Wartungs- 
freundlichkeit, Kompatibilität, Qualität, Effektivität und Effizienz lassen 
sich beispielsweise mit Blick auf die Leistungsstärke als Eigenschaften 
(interne Werte) von technischen Artefakten (Vertrauensobjekten)* verste- 
hen; insofern als Bedingungswerte für Vertrauen. In der Praxis werden 
die internen Eigenschaften der Vertrauensobjekte häufig als terminale 
Werte betrachtet. Tatsächlich handelt es sich dabei aber zumeist um in- 
strumentelle Werte, die sich als Mittel zum Erreichen eines terminalen 
Wertes einsetzen lassen (van de Poel 2013, 137). 

e Extern: Da es ganz wesentlich von der Bereitschaft der vertrauensgeben- 
den Instanz (A) abhängt, dem technischen Bezugsobjekt (X) Vertrauen zu 
schenken, ist Vertrauen oder die Vertrauenswürdigkeit von »X« kein inter- 
ner, sondern ein externer Wert. Denn die Bereitschaft Vertrauen zu schen- 
ken ist u.a. von den individuellen Einstellungen und persönlichen Präfe- 
renzen der vertrauensgebenden Instanz, aber auch von der konkreten Si- 
tuation bzw. dem spezifischen Anwendungskontext abhängig. 


Weiterhin findet in Schritt 4, »Kontextspezifische Erweiterung des Datenka- 
talog«, das ABI-Modell nach Schoorman et al. (2007) Anwendung, um konkre- 
te Operationalisierungsmaßnahmen einzelnen Vertrauensaspekten zuzuord- 
nen. Nach dem ABI-Modell sind diese Ability (Fähigkeit), Benevolence (Wohlwol- 
len) und Integrity (Integrität). Durch diese Einstufung wird gezeigt, wie und 
warum die einzelnen Maßnahmen das Vertrauen im Sinne des oben genann- 
ten Ebenenmodells stärken. 

Die Herausforderung bei der Messung und Operationalisierung von Ver- 
trauen wird vor dem Hintergrund der hier skizzierten Modelle deutlich sicht- 


3 Zum Entscheidungsvertrauen der vertrauensnehmenden Instanz vgl. auch Kaminski 
2017, 167-169 

4 Mit Blick auf den IEEE Std 7000™-2021 (IEEE Standard Model Process for Addressing 
Ethical Concerns during System Design) lassen sich die technischen Artefakte (Vertrau- 
ensobjekte) u.a. als SOI (system of interest) definieren. 
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bar. Vertrauen ist ein mehrdimensionaler Relationsbegriff. Die Frage »Wer (A) 
vertrautwem (B) in Bezug aufwas (X)?« grenzt den Untersuchungsgegenstand da- 
bei kontextbezogen ein. Da Vertrauen stets in spezifischer Referenz aufeinen 
bestimmten Zusammenhang entsteht, zielt dieser Beitrag darauf ab, die Ver- 
trauenswürdigkeit von konkreten Datenverarbeitungsszenarien (X) zu mes- 
sen. Wird Vertrauen zu unspezifisch erfasst, entstehen zahlreiche Fehlerdi- 
mensionen. Deshalb ist der jeweils konkrete Bezug auf das Vertrauensobjekt 
(über seine effiziente Nutzbarkeit hinaus) ebenso relevant wie der auf die ver- 
trauensnehmende Instanz (auch unabhängig vom Vertrauensobjekt). Nur auf 
diese Weise lassen sich Fehlerquellen durch eine einseitige Referenz identifi- 
zieren und eliminieren. 


Anwendungsszenario: Operationalisierung einer 
vertrauenswürdigen Datennutzungspraxis 


Datenverfügbarkeit gehört zu den Schlüsselkonzepten, wenn es um daten- 
getriebene Geschäftsmodelle und Prozessautomatisierung geht. Um dies im 
Dienst der Genossenschaft voranzutreiben, beschäftigt sich das Data Office 
als Organisationseinheit bei DATEV mit Data Governance, also mit dem kon- 
trollierten Verfügbarmachen von Daten durch adäquate Systeme und Prozesse 
sowie Daten zu erheben, zu verwalten und zu nutzen (Al-Ruithe 2019, Janssen 
2020). Data Governance unterstützt dabei, Daten rechtskonform, effizient 
und wertorientiert zu verarbeiten. Der Anspruch für den hier angeführten Use 
Case ist auch, eine verantwortungsvolle Datenverarbeitungspraxis auf Basis 
der Unternehmenswerte von DATEV aufrechtzuerhalten. Das hier behan- 
delte Anwendungsszenario zeigt exemplarisch, wie Unternehmenswerte - 
mitunter Vertrauenswürdigkeit — über ihre Verankerung in interne Prozesse 
fortlaufend in ihrer Umsetzungspraxis gestärkt werden. Das Beispiel geht 
insbesondere auf zwei Aspekte ein: zum einen wie digitale Verantwortung 
(im Sinne von Corporate Digital Responsibility, CDR) bei DATEV ausgerichtet 
ist, zum anderen wie sie exemplarisch zum Tragen kommt. Der hier gewählte 
Fokus bezieht sich auf das konzeptionelle Entwickeln und Etablieren eines 
wertorientierten Datenkatalogs. 

Mit Bezug auf die unternehmerische Verantwortung (Corporate Social 
Responsibility, CSR) und ihrer Vertiefungsrichtung CDR (Anzinger 2021, 
Seidl 2022) können Unternehmen als Vertrauensnehmer*innen sicherstellen, 
dass ihr Wertbezug - somit grundsätzlich auch ihr Bezug auf Vertrauens- 
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würdigkeit - beim Entwickeln und Betreiben von Technologie gegenüber 
ihren Stakeholdern als Vertrauensgeber*innen präsent bleibt und dadurch 
mittelbar wie unmittelbar in Produkten, Systemen und Services als Vertrau- 
ensobjekte zur Darstellung kommt. CSR bei DATEV ist nach der klassischen 
Triple-Bottom-Line gegliedert: in die ökonomische, ökologische und soziale 
Säule (Slaper und Hall 2011). Das bedeutet: DATEV agiert im Bewusstsein 
der Verantwortung für Wirtschaft, Umwelt und Gesellschaft (DATEV 2023a). 
Digitale Verantwortung verortet DATEV als Softwarehaus bei nachhaltiger 
Innovation und vor diesem Hintergrund in der ökonomischen Säule. Insofern 
bewegt sich das hier beleuchtete Beispiel auf der Mesoebene und adressiert 
insbesondere wertorientierte Data Governance als Voraussetzung für die 
Leistungsstärke von datengetriebenen Produkten (internes Vertrauen) sowie 
deren vertrauenswürdiges Potential aus Stakeholder-Perspektive (externes 
Vertrauen). Dies zeigt sich auch mit Blick auf die Operationalisierung der 
erwähnten Unternehmenswerte. 

Sie strukturieren dabei die Fokuspunkte von Digitaler Verantwortung im 
Rahmen von DATEVs Datenverarbeitungspraxis, festgehalten in der Directive 
Datenethik. Diese Directive als interne Regulatorik ist direkt im DATEV- 
Verhaltenskodex - Code of Business Conduct (CoBC) (ebd.) verankert und zeigt 
durch den konsequenten Rückbezug: Digitale Verantwortung leitet sich aus 
den grundsätzlichen Unternehmenswerten von DATEV ab. Vertrauenswürdig, 
Leistungsstark, Partnerschaftlich, Führend und Nachhaltig sind die Unterneh- 
menswerte, die hierbei zum Tragen kommen: 


e Vertrauenswiirdigkeit ist dabei insofern kontextgebunden, als sie darauf 
abzielt, gemeinsam mit den je beteiligten Stakeholdern Chancen und Her- 
ausforderungen der entsprechenden datenbasierten Lösungen für den in- 
dividuellen Fall angemessen zu reflektieren, »um so ein gemeinsames Ver- 
ständnis für langfristige Ziele und nachhaltiges Handeln zu entwickeln« 
(DATEV 2021). 

+ Dieser Anspruch findet sich im »ganzheitlichen Wertemanagement« 
(ebd.) bei Leistungsstark wieder. Hier geht es darum, Innovationen wert- 
orientiert voranzutreiben und mit Blick auf Technologie-Entwicklung und 
-Einsatz sicherzustellen: »Im Zentrum steht dabei immer der Mensch mit 
seinen individuellen Bedürfnissen und Interessen« (ebd.). Das bedeutet 
auch, digitale Lösungen zu entwickeln, die Mitglieder und Nutzer*innen 
bei ihrer Arbeit bestmöglich unterstützen und gut zu ihnen passen. Wenn 
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es darum geht, mit datenbasierten Innovationen Stakeholdergruppen 
gerecht zu werden, impliziert dies auch Fairness. 

e Der Wert Partnerschaftlich geht insbesondere auf Mitgestaltungsoptionen 
ein: über aktiven Stakeholder-Einbezug zur Entwicklung und Weiterent- 
wicklung von DATEV-Produkten und -Services sowie Feedbackschleifen 
geht es darum, »Datensouveränität genossenschaftlich [zu] ermöglichen« 
(ebd.). 

+ Um »das Potential für einen zukunftsweisenden Umgang mit Daten zu er- 
kennen und verantwortungsvoll auszuschöpfen« (ebd.), fördert DATEV im 
Sinne des Wertes Führend das Bewusstsein der Mitarbeitenden für wert- 
orientierte Technologiegestaltung und beteiligt sich am gesellschaftlichen 
Diskurs. 

e Dabei stellt die Directive Datenethik final klar: die Unternehmenswerte 
bleiben in ihrem Bezug aufeine verantwortungsvolle Datenverarbeitungs- 
praxis nicht dadurch beständig und relevant, dass sie einmalig regulato- 
risch fixiert sind. Es gilt, sie fortlaufend diskursiv zu prüfen, umzusetzen 
und darüber zu aktualisieren. Das bedeutet, sie lebendig werden zu las- 
sen und zu leben - unter anderem über fortlaufendes Use-Case-bezogenes 
Umsetzen. Diesen Aspekt hält die Directive mit Bezug auf einen fünften 
Wert fest: »Nachhaltig. Gemeinsam Standards leben« (ebd.). 


Wie die Unternehmenswerte von DATEV bei der Datenverarbeitungspraxis 
verinnerlicht und gleichzeitig aktuell bleiben, daran hat verantwortungsvol- 
le Data Governance grundsätzlich ihren Anteil. Data Governance bedeutet 
hier unter anderem: Datenverarbeitungsprozesse auch infrastrukturell und 
organisatorisch zu unterstützen, um die Daten-Wertschöpfung innerhalb 
eines definierten regulatorischen sowie wertbezogenen Rahmens effizient zu 
gestalten. DATEV zielt darauf ab, verantwortungsvolle Data Governance dabei 
als sogenannte Good Data Governance zu operationalisieren: Neben Effizienz 
und Wertschöpfung ist die Wertperspektive im Sinne Digitaler Verantwortung 
(CDR) hier ebenso im Fokus wie partnerschaftliche Vernetzung mit Bezug auf 
vertrauenswürdige Datenräume insbesondere im europäischen Kontext. 
Insofern lässt sich auch dieser Anwendungsfall mit Bezug auf den hier thema- 
tisierten wertorientierten fachlichen Datenkatalog als ein Werkzeug von Good 
Data Governance betrachten, das dem zuletzt genannten Umsetzungsanspruch 
der Directive Datenethik Rechnung trägt. 

Klar ist, dass es sich hierbei zunächst um interne Prozesse handelt. Der 
Wertbezug mit Blick auf die vertrauensgebende Person liegt nun darin, dass 
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die fortwährende prozessuale Referenz auf Unternehmenswerte - auch hin- 
sichtlich perspektivischer Datenverarbeitungsvorhaben - dem Anspruch 
Rechnung trägt, dass die Entwicklung und der Betrieb von Technologie nicht 
losgelöst von CDR-Aspekten gedacht und umgesetzt werden. So sind inter- 
ne (für diesen Fall: leistungsstarke datengetriebene Produkte) wie externe 
Vertrauensdimension (für diesen Fall: Vertrauen externer Stakeholder) stets 
reflektiert. Im genannten Wert-Kontext zueinander stärken sie über interne 
Prozesse die Werteverbindung von (zukünftigen) Produkten, Systemen und 
Services. Der Wertbezug kommt schließlich während der Nutzung durch 
entsprechende Stakeholder faktisch zum Tragen. 


Data Governance Principles - Datenhandlungsfelder 
. Unterstützendes 
Datennutzbarkeit ter Template 
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Abbildung 1: Data Governance Principles - Datenhandlungsfelder 


Wie Mitarbeitende bei DATEV Datenkultur gemeinsam gestalten, halten die 
Data Principles fest. Sie beschreiben wesentliche Handlungsfelder im Rahmen 
der Datenverarbeitungspraxis. Dass sich das Nutzbarmachen von Daten an 
grundlegenden strategie- und wertorientierten Zielen nachhaltig ausrichtet, 
ist ein Grund dafür, dass sie zentral im Data Office festgehalten sind und dort - 
gemessen an je verschiedenen Kriterien - gemonitort werden. Einzelne Um- 
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setzungsmethoden und -werkzeuge, sogenannte Wegbereiter, operationalisie- 
ren die Data Principles. Die Abbildung zeigt, dass es zwei verschiedene Arten 
von Data Principles gibt: 


1) Gestaltungsprinzipien als regulatorische und Werte-Basis legen die Leit- 
planken bei der Nutzbarmachung von Daten fest. Zu den Gestaltungsprin- 
zipien gehören neben Datenschutz, Informationssicherheit und Compli- 
ance auch Digitale Verantwortung und Datenethik. Das bedeutet: dieoben 
genannten Unternehmenswerte für eine verantwortungsvolle Datenverar- 
beitungspraxis sind über den Verweis auf die Directive Datenethik als Leit- 
planke direkt in die Data Principles integriert. Diese Verknüpfung bildet 
die normative Basis für wertorientierte Data Governance. 

2) Datenreifeprinzipien treiben innerhalb dieses Gestaltungsrahmens den 
Reifegrad des Datenbestands voran — mit Fokus auf Transparenz, Verfüg- 
barkeit, Qualitat und Nutzbarkeit. 


Abbildung 1 zeigt zwei Wegbereiter, die in den Datenreifeprinzipien Trans- 
parenz und Qualitat verankert sind: den fachlichen Datenkatalog, sowie 
ein unterstützendes Anfrage-Template für Mitarbeitende, mit Datenverar- 
beitungsvorhaben, beispielsweise zur Produktentwicklung. Diese beiden 
Wegbereiter mit dem jeweiligen Prinzip, dem sie zur Umsetzung verhelfen, 
sollen im Rahmen des Anwendungskontextes in ihrer Wertorientierung naher 
betrachtet und daraufhin auf die unten dargestellte Data Prosumer Journey 
bezogen werden. 

Die Journey dient in ihrer grundsätzlichen Form dazu, einen kontrollier- 
ten Lebenszyklus von Datenprodukten in Kombination mit verbundenen Be- 
darfs- und Umsetzungsprozessen der verantwortlichen und beteiligten Mit- 
arbeitenden zu ermöglichen. Für datengetriebene Projekte sind das beispiels- 
weise die verantwortlichen Mitarbeitenden, die eine bestimmte Datenanalyse 
umsetzen möchten, wie sogenannte Data Scientists. Ein Datenprodukt kann 
also beispielsweise eine Datenanalyse sein, die auswertet, wie effizient eine 
Software interne Prozesse von Kunden*innen automatisiert. Der genannte Le- 
benszyklus umfasst die verschiedenen Phasen des Datenprodukts - von den 
Konzeptions- bis zu den Löschvorgängen. 

Abbildung 2 zeigt, inwieweit bei DATEV der Data Scientist als Data Pro- 
sumer im Fokus steht. Prosumer setzt sich dabei begrifflich aus Consumer und 
Producer zusammen, was bedeutet: Data Scientists als Prosumer fragen für 
die Analyse Daten an (Consumer-Rolle) und stellen in Folge über ihre Analy- 
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seergebnisse auch wieder Daten (als Datenprodukte) bereit (Producer-Rolle). 
Mit Fokus auf die Data Principles tritt an dieser Stelle Datentransparenz in 
den Vordergrund: für die Rolle Data Consumer ist wichtig, dass Daten für die 
geplante Analyse leicht im Bestand auffindbar sind, dass sie auf Metadaten- 
basis in ihren Eigenschaften (bspw. Vertraulichkeit oder zweckgebundene 
Verarbeitung) verständlich sind, sowie, dass leicht zuordenbar ist, wofür sie 
sinnvoll und wertorientiert genutzt werden können und wofür nicht. Diese 
Anforderungen spielen für Producer ebenso eine wichtige Rolle: nur wenn 
die Aspekte von Auffindbarkeit, Verständlichkeit und Zuordenbarkeit für sie 
transparent sind, gelingt es, entstehende Analysedaten wertschöpfend in 
den Bestand zu integrieren, um diese im Rahmen ihrer Verarbeitungszwecke 
wieder zur Verfügung zu stellen. 


Data Prosumer Journey 


Data Provider Data Consumer Data Provider 


Daten-Wertschöpfung und wertorientierte Verarbeitung 


Suche nach Unterstützendes 
geeigneten Daten Anfrage-Template für 
im Datenkatalog den Austausch mit den 
auf Metadaten- verantwortlichen 

Basis Ansprechpartner*innen 
und dem Inhouse 


Datenquelle(n) Consulting Daten 
Erste Idee für eine finden Benötigte Daten wertorientiert 


Datenanalyse gemeinsam vorbereiten und 
korrekt eruieren integrieren 
Nutzungsbestimmungen 
kennen 


Unternehmenswerte 
einbeziehen 


Daten-Wertschöpfung und wertorientierte Verarbeitung 


Abbildung 2: Ausschnitt aus der Data Prosumer Journey 


Voraussetzung fiir diese gute Ubersicht und damit das Datenreifeprinzip 
Transparenz bietet ein fachlicher Datenkatalog. Damit ist die fachliche Ka- 
talogisierung vorhandener Datenbestande auf Metadatenbasis gemeint. 
Verknüpft sind die Datensätze unter anderem mit entsprechenden In- 
formationen über zulässige Verarbeitungszwecke sowie verantwortliche 
Ansprechpartner*innen. Dadurch ist ein zuverlässiges Wissens- und Infor- 
mationsmanagement gegeben, um die Daten im Dienst der Genossenschaft 
effizient und vertrauenswürdig verfügbar zu machen. Hierbei zeigt sich, 


Susanna Wolf, Jan Fiete Schütte, Marc Hauer, Christopher Koska: Vertrauen im Kontext 


dass der fachliche Datenkatalog als Werkzeug Unternehmen eine verantwor- 
tungsvolle Data Governance ermöglichen, CDR-Orientierung unterstützen 
und so Unternehmen in ihrer Rolle als vertrauensnehmende Instanz stärken 
kann. Er dient dazu, Leistungsstärke von Datenprodukten zu unterstützen 
(internes Vertrauen) und dadurch letztlich dazu, darauf einzuzahlen, wie 
dieses Potential für Vertrauenswürdigkeit wahrgenommen wird (externes 
Vertrauen). 

Vor diesem Hintergrund benötigen Data Prosumer Fachkenntnisse zur un- 
missverständlichen Anwendung des Datenkatalogs. 

Hierzu gehören: 


e Verständnis der mit den Datensätzen verbundenen Logik für eine rechts- 
konforme Verarbeitung 

e Kenntnis der Verantwortlichkeiten und Prozesse 

e Transfer der Unternehmenswerte auf eine wertorientierte Datenverarbei- 
tungspraxis 

+ Neben diesem Wissen ist das stete Bewusstsein für wertorientierte Verar- 
beitung relevant. Dazu gehört auch, Herausforderungen bei Datenanaly- 
sen wie einer ungewollten Verzerrung der Analyseergebnisse stets im Blick 
zu behalten. Über Dialog- und Weiterbildungsformate ist dabei relevant, 
folgende Aspekte zu adressieren: 
e Bewusstsein für relevante Verzerrungs-Arten (Bias) 
e Kenntnis von Optionen, diese Risiken zu reduzieren 
e Wissen um die Optionen, gewollten Bias (bspw. positive Diskriminie- 

rung, um Fairness-Potenziale auszuschöpfen) zu integrieren 


Das Wissen um sowie die Sensibilität hinsichtlich der oben genannten Punk- 
te zahlt auf ein weiteres Data Principle ein: Datenqualität. Stichworte in die- 
sem Zusammenhang sind unter anderem Korrektheit, Aktualität und Redun- 
danzfreiheit der Daten. In Prüfung ist vor diesem Hintergrund auch ein digi- 
tales Template für Anfragen mit erster und zweiter Ebene. Das Template in- 
tegriert auf der ersten Ebene grundsätzliche fachliche und organisatorische 
Informationen, wie zulässige Verarbeitungszwecke und verantwortliche An- 
sprechpartner”innen, eine Skizze der geplanten Datenverarbeitung, auf wel- 
che Unternehmenswerte das Vorhaben grundsätzlich einzahlt und welche Sta- 
keholder insbesondere zu den betroffenen Zielgruppen gehören. Die zweite 
Ebene zielt daraufab, Maßnahmen, Chancen und Herausforderungen der Da- 
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tenverarbeitung — direkt unter Berücksichtigung von Wertereferenzen - für 
das Unternehmen und die jeweilige Zielgruppe im Voraus zu bedenken. 


Instrumente zur Messung von Vertrauenswürdigkeit 


Um die voran beschriebene Operationalisierung durchzuführen und ihren Er- 
folg zu bewerten, ist es erforderlich, konkrete Messinstrumente für Vertrau- 
en zu finden und anzuwenden. Eine Messung des Vertrauens in ein Produkt 
(wir folgen hier dem Normverständnis, dass auch Dienstleistungen Produkte 
sind) wäre prinzipiell über die Akzeptanzrate, oder die Akzeptanzgeschwin- 
digkeit denkbar. Jedoch gibt es hierbei starke Einschränkungen der Aussage- 
kraft. Zum einen gibt es keine offiziell genormten Richtwerte, ab denen man 
von einem hohen oder niedrigen Vertrauen sprechen könnte. Darüber hinaus 
können die Gründe für die (Nicht-)Akzeptanz in einer Vielzahl an möglichen 
Ursachen und deren Kombination miteinander - Abseits der Vertrauensmes- 
sung — begründet liegen. Es kann beispielsweise daran liegen, dass es keine 
oder nur schlechtere/teurere Alternativen gibt oder, dass das Produkt oder die 
Dienstleistung ein Novum darstellt, für das zunächst einmal ein Markt entste- 
hen muss. Deshalb ist es, wie oben skizziert, sinnvoller, die Vertrauenswürdig- 
keit zu messen und diese Messung an die Stakeholder zu kommunizieren, um 
damit die Bildung von Vertrauen zu unterstützen. 

Eine gängige Möglichkeit die Vertrauenswürdigkeit in ein Produkt oder ei- 
ne Dienstleistung zu bewerten, ist das Durchführen und Auswerten von Tests. 
Der Testbegriffist sehr umfassend und nicht einheitlich definiert. Gemäß ISO 
29119-1:2022° ist Testen ein »Satz von Aktivitäten, die durchgeführt werden, um die 
Entdeckung und/oder Bewertung von Eigenschaften eines oder mehrerer Testelemente zu 
erleichtern«, während ein Testelement »das Ergebnis einer Aktivität ist, wie z.B. 
Management, Entwicklung, Wartung, Tests selbst oder andere unterstützen- 
de Prozesse«. Für einen fachlichen Datenkatalog bietet es sich u.a. an, Tests 
bezüglich der Datenqualität (sind die Informationen bspw. vollständig, aus- 
reichend aktuell, korrekt, redundanzfrei) durchzuführen. Für Anwendungen 
auf Basis einer initialen Metadaten-Recherche spielen Tests zu den Themen 
Zweckbindung, Vorhersagequalität (bspw. bei Analysen) und Nicht-Diskrimi- 
nierung potenziell eine große Rolle. Derartige Tests basieren in der Regel auf 
der Berechnung von sogenannten Qualitäts- und Fairnessmaßen (Verma und 


5 Software- und Systemengineering — Software-Test- Part 1: Allgemeine Konzepte. 
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Rubin 2018). Erreichen die gewählten Maße einen vorab definierten Mindest- 
wert, gilt der entsprechende Test als bestanden. Sollte das Resultat eines Tests 
negativ ausfallen, wird das Produkt entsprechend den erwarteten Eigenschaf- 
ten verbessert. Je besser also Produkte, bzw. die einzelnen Komponenten eines 
Produktes, getestet sind, desto höher fällt ihre Vertrauenswürdigkeit bezüg- 
lich ihrer Eigenschaften und Leistungen aus. 

Tests allein sind dabei nicht ausreichend, um pauschal eine hohe Vertrau- 
enswürdigkeit zu attestieren. Insbesondere, wenn Ziel- oder Interessenskon- 
flikte vorliegen, zum Beispiel, weil in datengetriebenen Projekten keine kla- 
ren Rollen- und Funktionstrennungen existieren (wie beispielsweise Planung 
und Umsetzung durch die gleichen Personen), könnten Tests gezielt nur für 
Aspekte konzipiert werden, die unabhängig davon umgesetzt werden können, 
um dies als Qualitätssicherung zu kommunizieren und auf dieser Basis eine 
hohe Systemqualität zu behaupten. Insofern ist es empfehlenswert, eine Rol- 
lentrennung zu berücksichtigen zwischen denjenigen Expert”innen, die Pro- 
dukte konzipieren und denjenigen, die Tests als kontrollierende Instanz in die 
Qualitätssicherung integrieren. 

Dabei bestehen - wie grundsätzlich bei der Durchführung von Analysen 
und der Kommunikation ihrer Ergebnisse — Risiken: bspw. dass Testergebnis- 
se nicht adäquat interpretiert oder missverständlich kommuniziert werden.‘ 
Eine Option, diese Risiken zu reduzieren, kann in sogenannten Audits liegen. 
Mit Blick auf die Bedeutung von Audits durch unabhängige Prüfinstitutionen 
für Vertrauenswürdigkeit von Nutzenden ist erwähnenswert, dass diese neben 
der Selbstverpflichtung von Unternehmen im Rahmen von Ethikleitlinien eine 
bedeutende Rolle spielen.” 

Auch für den Begriff Audit gibt es unterschiedliche Auffassungen. Zwei da- 
von sind besonders relevant: Inspektionen auf der Grundlage von Normung 
(z.B. der Korpus der ISO-Normungsdokumente, der die Grundlage für akkre- 
ditierte Zertifizierungen bildet) und Bias-Audits von Plattformen und Institu- 
ten (u.a. Ada Lovelace Institute in Europe (2023) oder die Initiative Zertifizierte 


6 Klar ist, dass es auch Vorfälle gibt, bei denen Ergebnisse wissentlich falsch kommuni- 
ziert werden. Dies bewegt sich allerdings insbesondere im Bereich dessen, was recht- 
lich unzulässig ist (legale Ebene) und nicht mehr rein im datenethischen Bereich (le- 
gitime Ebene). 

7 Gerade für Technologien wie Künstliche Intelligenz ist dies der Fall (ZVKI 2022; TÜV- 
Verband 2021). 
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KI des Fraunhofer IAIS (2023)). Nach ISO 19011:2018 ist ein Audit ein »systema- 
tischer, unabhängiger und dokumentierter Prozess zum Erlangen von objektiven Nach- 
weisen [.] und deren objektiver Auswertung, um zu bestimmen, inwieweit die Auditkri- 
terien [.] erfüllt sind« (ISO 19011: 2018). 

Diese Definition bildet die Grundlage für alle Verweise auf Audits im 
gesamten Korpus der ISO-Normungsdokumente. Sie unterscheidet aus- 
drücklich zwischen Erstparteien-Audit (1st party audit), Zweitparteien-Audit 
(znd party audit) und Drittparteien-Audit (3rd party audit). Erstparteien-Au- 
dits werden von der Organisation selbst oder in ihrem Namen durchgeführt 
(ISO 19011: 2018). Sie sind geeignet, um interne Vertrauenswürdigkeit in 
die Funktionalität interner Regelungen und Prozesse sowie deren Gültig- 
keit aufzubauen. Es geht also primär um die Vertrauenswürdigkeit der 
internen Stakeholder, bspw. in die Wirksamkeit des eigenen Managementsys- 
tems. Zweitparteien-Audits werden auf Initiative von externen Stakeholdern 
durchgeführt, die ein Interesse an den Qualitätsstandards einer bestimmten 
Organisation haben (z.B. Kunden, oder Institutionen in deren Auftrag). Dritt- 
parteien-Audits werden von unabhängigen Prüforganisationen durchgeführt, 
die bspw. Konformitätszertifikate oder -registrierungen ausstellen, oder von 
staatlichen Stellen (ISO 19011: 2018). Bei Zweit- und Drittparteien-Audits han- 
delt es sich also um Audits durch Externe. Das bedeutet, dass Prüfpersonal 
Zugang zu den relevanten Informationen und Systemen erhält, um bspw. ein 
Produkt oder einen Prozess zu untersuchen. Dies schließt auch Tests ein. Die 
Aussagekraft eines Audits hängt damit auch von der Vertrauenswürdigkeit 
des auditierenden Prüfpersonals und des durchgeführten Auditprozesses 
ab. Diese Vertrauenswürdigkeit wiederum kann durch Zertifikate, die die 
Prüfinstitutionen selbst innehaben bemessen werden. 

Ein Zertifikat ist eine Auszeichnung durch eine kompetente Instanz, die 
einer Person oder Sache eine bestimmte Eigenschaft bescheinigt und in dem 
hier behandelten Kontext auf die Vertrauenswürdigkeit eines Vertrauensneh- 
mers oder eines Vertrauensobjekts abstellt. Bei Zertifikaten ist grundsätzlich 
zwischen allgemeinen und akkreditierten Zertifikaten zu unterscheiden. Im 
Grunde kann jeder ein Zertifikat als Bescheinigung ausstellen. Die Aussage- 
kraft eines Zertifikats durch eine Instanz, die sich (bspw. über entsprechende 
Nachweise) noch kein Vertrauen verdient hat, ist jedoch sehr gering. Je ver- 
trauenswürdiger eine Instanz ist, desto aussagekräftiger sind Zertifikate, die 
diese Instanz ausstellt. Am vertrauenswürdigsten sind die sogenannten akkre- 
ditierten Zertifikate, die nur durch akkreditierte Zertifizierungsstellen aus- 
gestellt werden können. Diese wiederum sind durch die Akkreditierungsstel- 
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le eines Landes legitimiert (Bundesnetzagentur 2018; Datenschutzkonferenz 
2020). Der europäische Rechtsrahmen stellt sicher, dass es in jedem Land der 
Europäischen Union genau eine Akkreditierungsstelle gibt (in Deutschland ist 
das die Deutsche Akkreditierungsstelle GmbH, DakkS), die (auf der Makroebe- 
ne) die Kompetenz der Zertifizierungsstellen (auf der Mesoebene) bestätigt. 
Da akkreditierte Zertifikate auf Normen basieren müssen, sind die Mindest- 
anforderungen zur Ausstellung akkreditierter Zertifikate für Zertifizierungs- 
unternehmen vielfach reflektiert und eindeutig formuliert. Akkreditierte Zer- 
tifikate können sich auf verschiedene Vertrauensobjekte der jeweiligen Zer- 
tifizierungsstelle beziehen u.a.: ihre Managementsysteme (ISO/IEC 17021-1: 
2015), ihre Mitarbeitenden im Sinne einer Personenzertifizierung wie Sach- 
verständige (ISO/IEC 17024: 2021) und ihre Produkte und Prozesse (ISO/IEC 
17065: 2013; Datenschutzkonferenz 2019). 

Es gibt noch über Zertifizierungen hinausgehende Konzepte zur Bemes- 
sung der Vertrauenswürdigkeit. Besonders relevant sind dabei Kriterien-ba- 
sierte Ansätze. Dafür wird eine Sammlung an Kriterien erstellt, die als Indi- 
katoren für Vertrauenswürdigkeit fungieren. Das Maß an Vertrauenswürdig- 
keit kann dann zum Beispiel über die Anzahl erfüllter Kriterien ausgedrückt 
werden. Da je nach Produkt nicht alle Kriterien anwendbar sind, könnte auch 
das Verhältnis zwischen erfüllten und nichterfüllten Kriterien ein angemes- 
senes Maß darstellen. Ein solches Maß ist nicht dafür geeignet die absolute 
Vertrauenswürdigkeit auszudrücken, jedoch um die relative Vertrauenswür- 
digkeit zwischen ähnlichen Produkten und Dienstleistungen (basierend auf 
dem gleichen Kriterienkatalog)® zu ermitteln. Einen ähnlichen Ansatz verfol- 
gen auch aktuelle Überlegungen zum Thema Corporate Digital Responsibili- 
ty.” Darüber hinaus können Checklisten auch alle bisher genannten Aspekte 
(also Tests, Auditierung und Zertifizierung) umfassen und ermöglichen damit 
eineholistische Bemessung der Vertrauenswürdigkeit. Gleichzeitig gibt es kei- 
ne korrekte oder vollständige Sammlung an Aspekten, die in einer Checkliste 
erfragt werden sollten. Somit muss eine geeignete Checkliste anwendungsbe- 
zogen erstellt, sowie vergleich- und überprüfbar sein, um belastbare Aussagen 
daraus ableiten zu können. 


8 Angemessene Kriterien für einen solchen Kriterienkatalog können mit Blick auf KI zum 
Beispiel auf Basis des VCIO Modells (VDE 2022, 7-47) gewonnen werden. 

9 Es gilt dabei auch, die verschiedenen Konzepte von Digitaler Ethik zu berücksichtigen 
(Koska 2023). 
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Parallel zu den genannten Möglichkeiten kann die Vertrauenswürdigkeit 
eines Produktes auch im Kontext einer Risikobemessung bzw. Technikfolgen- 
abschätzung betrachtet werden. Ein höheres Risiko verweist auf eine erhöh- 
te Verletzbarkeit und erfordert deshalb ein höheres Maß an Vertrauen (Kos- 
ka et al. 2024). Dadurch entsteht ein Bedarf, Mechanismen einzusetzen, die 
das Risiko reduzieren, bzw. Konzepte, mit den Risikofolgen kontrolliert umzu- 
gehen (Risikomanagement), um somit die Vertrauenswürdigkeit zu stärken. 
Diesen Weg geht zum Beispiel auch der Entwurf des AI-Acts (European Com- 
mission 2021), der eine Risikoklassifizierung auf Basis der Technologie und 
des Anwendungskontextes [AI-Act Annex II, Annex III und Art. 52] vorsieht. 
Je nach Klassifizierung werden unterschiedliche Anforderungen an ein Pro- 
dukt gestellt, zum Beispiel in Bezug auf Tests, Auditierung, Zertifizierung und 
Transparenz. Die Kopplung der obligatorischen Etablierung von Schutzme- 
chanismen an eine vorige Risikobemessung bzw. Technikfolgenabschätzung 
ist ein häufig diskutierter Lösungsansatz, um Vertrauenswürdigkeit herzu- 
stellen, ohne eine Überregulierung zu verwirklichen (Hallensleben et al. 2020). 


Kontextspezifische Erweiterung des Datenkatalogs 


Der folgende Abschnitt erläutert insbesondere am Beispiel des Datenkatalogs, 
mit welchen Methoden und Werkzeugen bei der Operationalisierung vorge- 
gangen werden kann sowie was es dabei zu beachten gilt. Ziel ist es, eine ganz- 
heitliche Basis für Vertrauenswürdigkeit zu schaffen - nicht nur im Rahmen 
des Datenkatalogs selbst, sondern mit vorausschauendem Blick auf die damit 
verknüpften Prozesse und Produkte. 

Hierfür lässt sich wertorientierte Technologiegestaltung bei datengetrie- 
benen Projekten grundsätzlich in drei Phasen unterteilen (IEEE SA 2021): 


1) Begutachtung der Ist-Lage des System of Interest und Entwicklung von wert- 
orientierten Zielen 

2) Maßnahmenplanung und -durchführung - Ethical Value Requirements 

3) Maßnahmenbewertung und Iteration - Qualitätssicherung der Ethical Va- 
lue Requirements 


Für die Kategorisierung einzelner Maßnahmen bietet sich das ABI-Modell 
an. Es ist ein Konzept für die Modellierung von Vertrauen, beschrieben durch 
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Schoorman et al. (2007) auf Grundlage von McAllister (1995). Im Fokus stehen 
dabei folgende Vertrauensaspekte: 


e Ability (Fähigkeit): Die Fähigkeit des Vertrauensnehmers, die erwar- 
teten/angebotenen Aufgaben innerhalb der Vertrauensbeziehung zu 
erfüllen. 

e Benevolence (guter Wille): Der gute Wille gegenüber dem Vertrauensgeber, 
dessen Interessen zu wahren. 

e Integrity (Integrität): Ein schlüssiges und konsistentes Verhalten des Ver- 
trauensnehmers u.a. durch die fortwährende Einhaltung (selbst)gesetzter 
Grundsätze, welche für den Vertrauensgeber Relevanz haben. 


Durch die Zuordnung von Maßnahmen zu diesen Schwerpunkten, wird deut- 
lich, welches Ziel eine Maßnahme verfolgt. Ebenso kann die Leistung des 
Vertrauensnehmers für diese drei Aspekte gemessen werden, beispielswei- 
se durch Umfragen, und es können daraus nötige Maßnahmen abgeleitet 
werden. 

Auf Prozessebene kann hierfür bspw. der Standard IEEE 7000-2021 (IEEE 
SA 2021) hinsichtlich vorgesehener Prüfschritte und -kriterien berücksichtigt 
werden, insofern Umfang und Inhalt zum Zielprodukt passen. Es handelt sich 
um eine Prozessnorm für Produktentwicklung unter Berücksichtigung einer 
Werte-Reflexion (Ethics by Design), welche für das gesamte Phasenmodell an- 
wendbar ist. 


Phase 1: Begutachtung der Ist-Lage des System of Interest und 
Entwicklung von wertorientierten Zielen 


Zunächst gilt es, den Anwendungskontext des Vertrauensobjekts (System of 
Interest, SOI [IEEE SA. 2021, 22]) zu skizzieren. Um Vertrauenswürdigkeit für 
ein bestimmtes Produkt (auf der Mesoebene) aufzubauen, ist unter anderem 
die Identifizierung und der Einbezug der relevanten Stakeholdergruppen 
(bei Bedarf über entsprechende repräsentative Personen) entscheidend. Der 
Datenkatalogs als SOI integriert sich weiterhin in eine bestehende Produkt- 
landschaft. Der Katalog bietet aber nicht nur die Basis dafür, eine Vielzahl an 
unterschiedlichen Datennutzungsszenarien zu verwalten, sondern ermög- 
licht auch neue Anwendungsfelder wertorientiert zu erschließen. In diesem 
Sinne kann der Datenkatalog u.a. als ein Management-Tool betrachtet wer- 
den, das dazu dient, datengetriebene Projekte vertrauenswürdig zu verwalten 
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und zu gestalten, insbesondere in Bezug auf deren Beziehung zueinander, 
wie sie in Systemen mit gegenseitiger Referenz auftreten können (System of 
Systems, SoS [IEEE SA. 2021, 22]). 

Bei der Entwicklung von Zielen gilt es, bestehende Richtlinien, Kodizes 
und Werte innerhalb des Unternehmens anzuwenden. Dafür setzt DATEV 
unter anderem die Directive Datenethik ein. Unter Einsatz der fünf Unterneh- 
menswerte werden Handlungsbedarfe ermittelt und kontextspezifische Ziele 
gesetzt sowie Kriterienkataloge erstellt. Durch die fortwährende Umsetzung 
der Directive zielt DATEV darauf ab, auf die Integrität nach dem ABI-Modell 
einzuzahlen. Der Datenkatalog ist ein Werkzeug, welches insbesondere durch 
geprüfte Daten die Intention unterstützt, dass die ihm zugrundeliegen- 
den Werte in datengetriebenen Projekten berücksichtigt werden. Dies kann 
einerseits dazu beitragen, die Integrität (Integrity) zu verbessern und anderer- 
seits das Zutrauen in die Fähigkeiten (Ability) des Unternehmens stärken, da 
hochwertige Datensätze die Leistung der Produkte erhöhen." 

Außerdem können auch Werkzeuge aus der Organisationsmethodik ge- 
nutzt werden, wie Canvas-Formate (Ethics Canvas (Online Ethics Canvas n. d.), 
Data Ethics Canvas (Open Data Instituten. d.), Digital Product Ethics Canvas (Ger- 
lach 2019)), welche ebenfalls dabei unterstützen, die Rahmenbedingungen und 
Implikationen der Produkte strukturiert zu reflektieren und zu überblicken. 
Ein Canvas ist eine visuelle Organisationsmethodik, die komplexe Projekte 
übersichtlich und nachvollziehbar darstellt. Das Canvas bietet den Rahmen für 
mehrere untergeordnete Kategorien, die als Schlüsselelemente eines Projekts 
zu skizzieren sind. Im Rahmen des Datenkatalogs wird derzeit beispielsweise 
mit Canvas-Formaten gearbeitet, um den Anfrageprozess durch interne Sta- 
keholder (bspw. o.g. Data Prosumer) zu strukturieren. Dies bietet Potenzial 
für einen effektiven Anfrage-, Beratungs- und Datenbereitstellungsprozess. 

Für weitere Tätigkeiten, wie die der Technikfolgenabschätzung mit Fokus 
auf die Wertorientierung, gibt es eine große Auswahl von Werkzeugen. Als 
Einstieg bietet sich das Verzeichnis der OECD an, welches eine Vielzahl an 
Hilfsmitteln zum Thema »Vertrauenswürdige KI« umfasst und zudem um- 
fangreiche Filter- und Suchoptionen bietet (OECD.AI Policy Observatory n. 


10 Der erwahnte IEEE 7000 beginnt analog zu Phase 1 mit den Fragen nach dem Concept 
of Operations und dem Context Exploration Process (Kap. 7). Hierbei werden die Ziele 
der Organisation, sowie das ethische Umfeld ergründet. Im nächsten Schritt, dem Ethi- 
cal Values Elicitation and Priorization Process (Kap. 8), werden die kontextspezifischen 
Werte ermittelt und priorisiert. 
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d.). Für die Verwendung in Projekten oder Unternehmen lässt sich empfehlen, 
eine eigene Werkzeugsammlung zu erstellen und zu pflegen, die speziell auf 
die individuellen Bedürfnisse zugeschnitten ist. Eine Auswahl ergänzend zum 
OECD-Katalog sei an dieser Stelle genannt: 

Für Technikfolgenabschätzung in ethischer Dimension können Reflexi- 
onsmethoden wie das MEESTAR-Modell (Weber 2016, Ethical OS n. d.) oder 
Workshop-Formate, bspw. Ethical Explorer (Ethical Explorer n. d.), hilfreich 
sein. Workshops bieten die Möglichkeit, Stakeholder unter den relevanten 
Diversitätsgesichtspunkten miteinander ins Gespräch zu bringen und über 
die verschiedenen Projektphasen hinweg als multiperspektivischen Reflexi- 
onskreis, angepasst an das jeweilige Produktszenario, einzubinden. Andere 
Standards und Frameworks in Bezug auf beispielsweise Risikomanagement, 
Informationssicherheit (ISO/IEC 27001) und KI-Systeme (ISO/IEC 42001, 
ISO/IEC TR 24368, ISO/IEC 23053) können ergänzende Leitplanken für die 
Umfeldbeobachtung und Zielentwicklung stellen. Sollte die Anwendung von 
Prozessstandards nicht möglich sein, kann stattdessen auf Playbooks auf- 
gesetzt werden, wie den AlgoRules (Algo.Rules n. d.) oder dem etami open 
guidebook (Etami open guidebook n. d.). Um Prozesse und Datenflüsse auf- 
zuschlüsseln, können Programme, wie beispielsweise der Data Process Modeler 
(Bayern innovativ n. d.), eingesetzt werden. Die hier genannten Werkzeuge 
sind zum Teil umfangreich und erfordern mitunter ethische Expertise für ei- 
nen effektiven Einsatz. Geeignete Werkzeuge sind deshalb kontextspezifisch 
(insbesondere nach Umfang und Aufwand entsprechend der Produkt- und 
Prozessgegebenheiten) auszuwählen oder anzupassen. 

Ebenso gibt es für die wertorientierte Ausrichtung von Unternehmen eine 
Vielzahl an Kodizes und Leitbildern, welche als Orientierungspunkt für die 
Reflexion der unternehmenseigenen Haltung dienen können. Als Inspiration 
genannt seien hier zum Beispiel die Digital Responsibility Goals (Meier et al. 
2022) und der CDR-Kodex (Corporate Digital Responsibility Initiative 2023). 
Bei der Formulierung und Reflexion des eigenen Leitbildes sind partizipative 
bottom-up-Prozesse essenziell, um bereits bestehende Unternehmenswerte zu 
integrieren und der eigenen Unternehmenskultur angemessen Rechnung zu 
tragen. Darauf aufbauend lässt sich die Operationalisierung und Messung der 
Vertrauenswürdigkeit weiter optimieren, bspw.: von der unternehmensinter- 
nen Datenethik-Leitlinie (Directive) über interdisziplinäre Dialogformate zu 
Data Governance und Datenethik (Datenethik Hub, Enterprise Data Council) bis 
hin zu den konkreten internen Beratungs- und Unterstützungsleistungen mit 
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Blick auf datengetriebene Projekte (Datenkatalog; PWC 2023; DATEV 2023b, 
S. 7). 

Die erste Phase ist entscheidend ftir den weiteren Verlauf der Entwick- 
lung und den Aufbau von Vertrauenswürdigkeit. Ohne eine geordnete, klare 
und nachvollziehbare Aufarbeitung der Rahmenbedingungen, sind Ziele nur 
schwer zu formulieren und eine vertrauenswiirdige Entwicklung schwer zu 
kommunizieren. Im gleichen Zug erméglicht diese tendenziell explorative 
Phase eine Konkretisierung der Produktleistungen (Hauer et al. 2023). In 
Bezug auf das Vertrauen wird erkundet, wer die potenziell vertrauensgebende 
Instanz ist. Außerdem wird festgestellt, mit welchen Maßnahmen die ver- 
trauensnehmende Instanz die Vertrauenswiirdigkeit der Produkte starken 
kann. 


Phase 2: Maßnahmenplanung und -durchführung - 
Ethical Value Requirements 


Auf Basis der festgelegten Ziele und Bedingungen gilt es im nächsten Schritt 
konkrete Maßnahmen zu planen und durchzuführen. Funktionalitäten und 
Systemeigenschaften (Ethical Value Requirements, EVR [IEEE SA. 2021, 18]) 
werden unter Berücksichtigung der Werte aus Phase 1 bestimmt und tragen 
diese in die praktische Umsetzung. Bei bestehenden Produkten werden an 
dieser Stelle nötige systemische Anpassungen gefunden, um fortlaufend auf 
ein einheitliches und vertrauenswürdiges Produktportfolio einzuzahlen. Um 
die Umsetzung zu gewährleisten, sollten für diese Phase ebenfalls geeignete 
Dokumentationswerkzeuge und Kommunikationsmaßnahmen bestimmt 
werden. In Bezug auf wertebasierte Produktentwicklung können ergänzen- 
de Ethical Checkboxes in bereits etablierte Checklisten und Projektprozesse 
integriert werden. Aus dem Umfeld der Data Science sei hier beispielhaft das 
Werkzeug deon (deon n. d.) genannt, womit sogenannte Ethical Checkpoints 
(ECP) in datengetriebenen Projekten erstellt werden können. Es kann hilfreich 
sein, auch in dieser Phase Workshop-Formate zu nutzen, um die Suffizienz 
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der verabschiedeten Maßnahmen aus Sicht verschiedener Stakeholder beur- 
teilen zu können." 

Für die Maßnahmenplanung und -durchführung greift DATEV bei Bedarf 
auf Dialogformate zu wertorientierter Data Governance, wie den Enterprise Da- 
ta Council oder den Datenethik-Hub, zurück. In regelmäßigen Terminen und 
einzelnen Workshops werden die priorisierten Werte aus Phase 1 in konkrete 
Anforderungen und Maßnahmen übersetzt. Durch die Dokumentation in ge- 
meinsamen Arbeitsumgebungen ist es möglich, diese zu reflektieren und re- 
gelmäßig zu überprüfen. Der Datenkatalog trägt dazu bei, dass sich Anfrage- 
prozess und Datennutzung nachvollziehen lassen. Dies ist eine wichtige struk- 
turelle Voraussetzung für first party audits oder Tests. In diesem Sinne findetein 
Beitrag zu den Parts Integrity und Ability des ABI-Modells statt. 


Phase 3: Maßnahmenbewertung und Iteration - Qualitätssicherung der 
Ethical Value Requirements 


Zur Bewertung der erfolgten Maßnahmen, wird der Erfüllungsgrad von wer- 
tebasierten Zielen geprüft. Hierzu können Aktivitäten aus Phase 1 herange- 
zogen werden, wie die Ergebnisse der Technikfolgenabschätzung. Des Weite- 
ren können externe Instanzen für Audits oder Zertifikate hinzugezogen wer- 
den. Erreicht das geschaffene Produkt nachweislich und für die Stakeholder 
nachvollziehbar die gesteckten Ziele, dann stärkt dies die Vertrauenswürdig- 
keit des Vertrauensobjekts und in der Regel auch die der vertrauensnehmen- 
den Instanz, insbesondere wenn die Technikgestaltung in Orientierungan den 
gesetzten Werten erfolgt ist (Integrität). Wurde ein Kriterienkatalog angelegt, 
kann dieser auf Erfüllung - intern und/oder extern - geprüft werden. Sollte die 
Erfüllungsrate geringer ausfallen als gewünscht, gibt er Orientierung für die 
Fokuspunkte der weiteren normativen Produktentwicklung. Bei ausreichen- 
der Erfüllungsrate kann der Kriterienkatalog selbst und der Grad der Erfüllung 
geprüft oder zertifiziert und als Vertrauensgrundlage an die vertrauensgeben- 
de Instanz kommuniziert werden. 


11 Ein weiteres mögliches Ergebnis dieser Phase ist ein anwendungsbezogener Kriterien- 
katalog, welcher konkrete Anforderungen an das Produkt stellt. Dieser kann als Basis 
für externe Prüfungen genutzt werden, um die Qualität des Produkts von außen zu be- 
statigen. Um vage Metriken zu vermeiden, ist eine Finalisierung der Kriterien in Phase 
2, statt schon in Phase 1, vorzuziehen. 
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Im Sinne des ABI-Modells kann durch Tests unter Berücksichtigung der 
Produktleistung die Ability der vertrauensnehmenden Instanz untersucht 
werden. Eine hohe Leistung lässt sich im Kontext des geprüften Produkts 
intersubjektiv nachvollziehbar extern kommunizieren. Gleichzeitig kann 
zusätzliche wertorientierte Weiterentwicklung die Integrität des Vertrau- 
ensnehmers fördern. Über Szenarienkataloge lassen sich gebündelte Krite- 
riensets prüfen und Aussagen über die Vertrauenswürdigkeit für spezifische 
Szenarien treffen.” 

Die Directive Datenethik lässt sich im Kontext der Maßnahmenbewertung 
für den genannten Use Case als Möglichkeit heranziehen, wertorientierte An- 
forderungen an datengetriebene Produkte interdisziplinär zu überprüfen. Die 
o.g. Dialogformate kommen u.a. dann zum Einsatz. Hierbei referenziert der 
Prozess auf die Phase 1, insofern Potenziale mit Blick auf operationalisierte 
Werte identifiziert werden. Dieses Vorgehen bietet eine Basis, um eine per- 
spektivische Auditierung strukturiert vorzubereiten. 


Zusammenfassung und Fazit 


Der hier vorgeschlagene Weg, Vertrauen in datengetriebene Projekte aufzu- 
bauen und zu festigen, verknüpft konzeptionelle Überlegungen mit einem 
praxistauglichen Lösungsansatz. Ausgehend von analytischen Vertrauens- 
modellen und Ansätzen aus der sozialwissenschaftlichen Organisationsfor- 
schung skizziert dieser Beitrag ein bedarfs- und anwendungsorientiertes 
Werkzeug, um Vertrauen zu messen und zu operationalisieren. Mit Blick 
auf den inflationären und zumeist vagen Gebrauch des Begriffs Vertrau- 
en grenzt dieser Beitrag den Untersuchungsgegenstand zunächst auf das 
Konzept der Vertrauenswürdigkeit von konkreten Datennutzungsszenari- 
en ein. Im anschließenden Anwendungsszenario dient ein wertorientierter 
fachlicher Datenkatalog zur Operationalisierung einer vertrauenswürdigen 
Datennutzungspraxis. Der nächste Schritt erörtert problemorientiert die 
Möglichkeiten von Vertrauensmessung. Abschließend zeigt der Beitrag, wel- 
che weiteren Werkzeuge sich zur Sicherstellung einer vertrauenswürdigen 


12 UmdieVertrauenswirdigkeit des Produkts für verschiedene Nutzungsprofile differen- 
ziert zu betrachten, werden die jeweils relevanten Kriterien in Kriteriensets zusam- 
mengefasst. Beispielsweise kann zwischen B2B- und B2C-Nutzung unterschieden wer- 
den, da sich die beiden in Nutzungsgrundlage und -umständen unterscheiden. 
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Datennutzungspraxis anbieten und wie diese zu einer kontextspezifischen 
Erweiterung des Datenkatalogs führen können. 

Zusammenfassend lässt sich festhalten, dass sich die Operationalisierung 
und Messung von Vertrauen nicht allein über Akzeptanzraten oder -geschwin- 
digkeiten steuern lässt. Die Kombination von internen und externen Tests, 
Audits und Zertifizierungen mit kriterienbasierten Ansätzen bietet eine um- 
fassendere Bewertung der Vertrauenswürdigkeit. Dabei bleibt der Aspekt 
»Kontext« entscheidend: So geht es im Rahmen dieses Beitrags nicht dar- 
um, ein basales Urvertrauen zu begründen oder eben genau unbegründet zu 
lassen. Sondern es geht darum, Vertrauen in seiner Dimension als Entschei- 
dungsvertrauen zu verorten. Aus wirtschaftlicher Sicht betrachtet: Kunden 
entscheiden sich, unter Bezug auf ihre aktuelle Einsicht in den jeweiligen 
Zusammenhang, für oder gegen einen bestimmten Service, ein Produkt oder 
eine Dienstleistung. Persönliche Vertrauensbeziehungen auf der Mikroebene 
stärken das Vertrauen in bestimmte Unternehmen oder Institutionen auf der 
Mesoebene. Dies trägt wiederum dazu bei, das allgemeine Systemvertrauen 
auf der Makroebene aufrechtzuerhalten. Dieser Zusammenhang erklärt die 
oben ausgeführte hohe Bedeutung von Stakeholder-Einbezügen über unter- 
schiedliche Formate. Für die IT-Branche hat dies zur Folge, dass insbesondere 
eine vertrauenswürdige Datennutzungspraxis im Rahmen der aktuellen Tech- 
nikgestaltung essenziell für das Vertrauen in die Zukunft datengetriebener 
Geschäftsmodelle ist. Es ist die Voraussetzung dafür, Mehrwert aus Daten 
gemeinsam auf einem ethischen Fundament zu gestalten. Zukünftige For- 
schung und Entwicklungen sollten darauf abzielen, anwendungsorientierte 
und kontextspezifische Lösungen für die Vertrauensbewertung zu entwickeln 
und gesellschaftliche wie auch unternehmerische Belange miteinbeziehen. 
Mit Blick auf die Wertorientierung gilt es eine angemessene Balance zwischen 
innovativer Technikgestaltung und angemessener Regulierung zu finden. 
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Humaner als der Mensch? Zur sozialen 
Imagination autonomer Waffentechnik 


Nicole Kunkel 


1. Einleitung 


Die Terminator-Reihe gehört zu den einflussreichsten und populärsten Sci- 
ence-Fiction-Filmen überhaupt. In ihrem ersten Teil wird ein Terminator, also 
eine anthropomorph gestaltete Maschine, aus einer dystopischen und von Ma- 
schinen regierten Zukunft in die Gegenwart der 1980er geschickt, um die junge 
Frau Sarah Connor zu töten. Sarah wird im Laufe ihres Lebens die Mutter von 
John Connor werden, dem Anführer des Widerstands gegen die Roboterüber- 
macht in der Zukunft. Um eben diese Mutterschaft zu verhindern, ist es die 
Aufgabe des Terminators Sarah zu töten. Die Maschine setzt alles daran, kalt- 
blütig ihren Auftrag auszuführen - sie achtet weder auf andere Opfer, noch 
kann sie durch die einfache Feuerkraft anderer Waffen gestoppt werden. Zwar 
gelingt Sarah die Flucht - so will es das eherne Gesetz des Actionfilms - doch 
ist die Maschine dem Menschen an Kaltblütigkeit und aufgrund seiner Unver- 
wundbarkeit massiv überlegen: Weil der Android keinen Schmerz fühlt, sich 
nicht fürchtet und kein Erbarmen zeigt, ist er die ideale Killermaschine. 
Umso faszinierender ist die Fortsetzung dieser Geschichte im zweiten Teil 
der Terminator-Reihe. Wieder wird ein Terminator aus der Zukunft geschickt 
-diesmal um den jungen John Connor zu töten. Dieser jedoch schickt selbst ei- 
nen weiteren, umprogrammierten Terminator in die Vergangenheit, um sein 
eigenes Leben vor dem »bösen« Terminator zu schützen. Interessant ist hier 
das Verhältnis, das der umprogrammierte Terminator und John Connor im 
Laufe des Filmes zueinander aufbauen: Während die »gute« Maschine den Jun- 
gen gegen den »bösen« Terminator verteidigt, lernt sie nebenbei nicht nur flot- 
te Sprüche von John, sondern auch allerlei Lektionen in Sachen Mitmensch- 
lichkeit. So hinterlässt dieser Android keine Spur von Verwüstung, sondern 
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schießt beispielsweise gezielt daneben, sodass niemand zu Schaden kommt. 
Auch in dieser Fortsetzung siegt das Gute - der »böse« Terminator wird be- 
zwungen und der Film endet dramatisch, indem der »gute« Terminator sich 
selbst opfert, da er sonst zum Prototyp für eben jene dystopische Technik der 
Zukunft genutzt werden könnte. Dieser Film folgt der Logik: Weil der Android 
mitmenschlicher ist als der Mensch, kann er sein »Leben« für die Menschen 
geben: Er ist der ideale, selbstlose Beschützer. 

Obwohl beide Filme dieselbe Technik in Szene setzen, könnte die Moral 
der Geschichte unterschiedlicher kaum sein: Auf der einen Seite die kaltblütig 
mordende Killermaschine, die rücksichtlos tötet und damit der Imperativ, nie- 
mals solche Maschinen zu bauen; auf der anderen Seite der selbstlose Roboter, 
der Mitmenschlichkeit lernt und schließlich sich selbst opfert. Unterstrichen 
wird dies mit dem Epilog zum zweiten Teil aus dem Munde Sarah Connors: 


»The luxury of hope was given to me by the Terminator. Because if a machine 
can learn the value of human life... Maybe we can too.« (Terminator 2 1991) 


Dieser Artikel will dem Gehalt dieser Worte Sarahs und der damit verbun- 
denen Bilder in theologisch-ethischer Perspektive nachspüren: Es scheint 
mir alles andere als selbstverstandlich, dass der Wert menschlichen Lebens 
von Technik, die gerade zum Töten konstruiert wurde, gelernt werden kann 
- zumal diese Technik den Sinn ihrer Unternehmung nicht versteht. Dies 
ist insbesondere da problematisch, wo solche fiktionalen Vorstellungen den 
gesellschaftlichen (und politischen) Umgang mit Technik, etwa letalen auto- 
regulativen Waffensystemen, leiten und handlungswirksam werden, indem 
sie die politische Regulation von bestimmten Techniken und Verfahren ent- 
weder antreiben oder aber verhindern. Mein Hauptanliegen ist es hier aus 
theologischer Perspektive zu zeigen, dass die Vorstellung, gerade den Wert 
menschlichen Lebens von rechnender Technik zu lernen, fehl geht. Die zentra- 
le These besteht darin, dass die Maschine nicht wissen kann, was ein Mensch 
ist, was es bedeutet zu leben und dass entsprechend die Idee, solch zentrale 
Werte von einer Maschine zu lernen, eine absurde Fantasie ist, die zugleich 
das Menschenbild »technisiert«. Dies jedoch bedeutet nicht, dass eine solche 
Fantasie nicht auch in politischen Handlungsoptionen relevant werden kann. 
Ziel ist es also zunächst zu zeigen, dass Bilder und Narrative den Umgang 
mit Technik maßgeblich beeinflussen und bestimmen, sodann deutlich zu 
machen, dass die Vorstellung von der mitmenschlichen Technik grundsätzlich 
fehl geht, und schließlich diesen technischen Imaginationen auf Grundlage 
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der theologischen Idee der Ebenbildlichkeit Gottes ein Korrektiv entgegenzu- 
stellen. 

Um dieses Thema genauer zu untersuchen, werde ich zunachst in die Ima- 
ginationstheorie von Charles Taylor einführen und anhand dieser zeigen, war- 
um die Bilder und Geschichten, die wir erzahlen, auch unsere kollektiven Vor- 
stellungen prägen und somit handlungsleitend werden können (2). In einem 
zweiten Schritt analysiere ich bestehende Technikimaginationen und befrage 
sie auf ihren Gehalt (3), um diesen schließlich mit der Rede von der Ebenbild- 
lichkeit Gottes eine Alternative der menschlichen Selbsterschließung entge- 
genzustellen (4). 


2. Soziale Imagination 


Wie also tragen Filme wie der Terminator mit ihren Bildern und Narrativen 
zu einem gesellschaftlichen und politischen Umgang mit Technik, etwa dem 
Umgang mit autoregulativen Waffensystemen, bei? Ob, und wenn ja, auf wel- 
che Weise fiktionale Vorstellungen tatsächlich gesellschaftliche und politische 
Strukturen prägen, und somit Filme wie die Terminator-Reihe Handlungs- 
macht entfalten können, lässt sich mit der Theorie des Philosophen Charles 
Taylor in seinem Buch Modern Social Imaginaries veranschaulichen. Taylors 
maßgebliche Frage ist hier, wie die moralische Ordnung innerhalb westlicher 
Gesellschaften ihre Wirkung entfaltet und er beantwortet diese Frage mit 
seiner Theorie zum sozial Imaginären. Unter moralischer Ordnung versteht 
Taylor den selbstverständlichen moralischen Verständnishintergrund, vor 
dem ein Mitglied einer bestimmten sozialen Gruppe sich selbst erschließt. 
Dieser Raum und Rahmen ist bereits moralisch vorgeprägt, wie eine Art Land- 
karte, auf der ein Individuum moralische Orientierung sucht (Taylor 1992, 
29f.): Einen Standpunkt außerhalb dieser Landkarte einzunehmen ist dem 
Individuum unmöglich, weil es sich dann nicht mehr verständlich machen 
könnte. Taylor beschreibt diese Zusammenhänge anschaulich in seinem Buch 
Sources ofthe Self mit folgenden Worten: »[A] person without a framework alto- 
gether would be outside our space ofinterlocution; he wouldrit have a stand in 
the space where the rest of us are. We would see this as pathological.« (Taylor 
1992, 31). Es ist der Einzelnen also unmöglich aus dem moralischen Rahmen 
oder Horizont herauszutreten, ohne zugleich aus den selbstverständlichen 
sozialen Zusammenhängen herauszufallen. Taylors These lautet nun weiter, 
dass eben diese moralische Ordnung sich weniger in expliziten Imperativen 
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und Theorien ausdrückt, sondern vielmehr implizit in den Praktiken, Nar- 
rativen und Selbstverständlichkeiten verbirgt, die tagtäglich und unsichtbar 
gesellschaftliches Handeln bestimmen. Er schreibt: »The social imaginary is 
not a set of ideas; rather, it is what enables, through making sense of, the 
practices of a society« (Taylor 2004, 2). Und er führt weiter aus: 


»By social imaginary, | mean something much broader and deeper than the 
intellectual schemes people may entertain when they think about reality in 
a disengaged mode. | am thinking, rather, of the ways people imagine their 
social existence, how they fit together with others, how things go on be- 
tween them and their fellows, the expectations that are normally met, and 
the deeper normative notions and images that underlie these expectations.« 
(Taylor 2004, 23) 


Worum es Taylor hier geht, sind also nicht die ausgesprochenen moralischen 
Theorien und Ideen, sondern die mitschwingenden Vorstellungen, die sich in 
Bildern, Geschichten und Legenden niederschlagen und die zwischenmensch- 
lich geteilt werden, um so den selbstverständlichen Legitimationsgrund für 
eine kollektive Praxis bereitzustellen (Taylor 2004, 23). In diesen Bildern 
verdichten sich Ansprüche an die anderen, ein geteiltes Verständnis dessen, 
was von diesen anderen in Alltagssituationen erwartet werden kann und was 
so überhaupt erst ermöglicht, kollektive soziale Praktiken zu entwickeln. 
Die Komplexität dessen wird deutlich, wenn bewusst gemacht wird, dass in 
Imaginationen auch immer eine Vorstellung davon enthalten ist, auf welcher 
Art und Weise eine Gesellschaft zusammengehört, was normativ gilt, wie 
Abläufe normalerweise geregelt sind und wie sie es sein sollten (Taylor 2004, 
24). Taylor charakterisiert beispielsweise die Art, wie wir gehen, gestikulieren 
und uns bewegen als einen Ausdruck dafür, wie wir uns zueinander posi- 
tionieren. Er beschreibt etwa die betonte Langsamkeit, mit der ein Polizist 
aus dem Streifenwagen aussteigt und sich einer Autofahrerin nähert, die 
er wegen Geschwindigkeitsüberschreitung angehalten hat (Taylor 1992, 15). 
Diese Szene wird nicht verständlich ohne das Wissen darüber, wie Menschen 
sich in Alltagssituationen begegnen, oder eine Vorstellung davon, mit welcher 
Handlungsmacht die Polizei ausgestattet ist. Ebenso sehr ist ein Wissen davon 
nötig, dass Geschwindigkeitsüberschreitungen verboten sind, und dass von 
einer Autofahrerin erwartet wird, sich an die Straßenverkehrsordnung zu 
halten. Nicht nur das: Polizist*innen sind selbstverständlich zu bestimmten 
Handlungen autorisiert, zu denen die anderen Bürger”innen nicht legitimiert 
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sind. Deswegen tragen sie bestimmte Kleidung und fahren bestimmte Autos. 
Aufgrund dieser Autorisierung sind sie überhaupt erst in der Lage eine andere 
Person wegen einer Geschwindigkeitsüberschreitung zur Rechenschaft zu 
ziehen — und genau deswegen ist es ihnen auch erlaubt, Gewalt anzuwenden. 
Dieses System funktioniert jedoch nur, weil alle davon wissen und tiber einen 
geteilten und selbstverstandlichen Wissenshintergrund verfügen. In dieser 
einen Szene verdichtet sich also spezifisches Hintergrundwissen, angefangen 
von der Vorstellung davon, welche Handlungsmacht Polizist*innen zusteht, 
der Norm einer Geschwindigkeitsbeschrankung, bis hin zu einer abstrakten 
Vorstellung davon, wie wir als Gesellschaft zusammengehören und welche 
Normen dieser Zusammengehörigkeit zu Grunde liegen - oder zu Grunde 
liegen sollten. 

Zentral ist dabei, dass die Beziehung zwischen Hintergrundvorstellungen 
und Praktiken keineswegs einseitig ist. Vielmehr bringen neue Praktiken 
neue Imaginationen hervor, während gleichsam neue Imaginationen neue 
Praktiken prägen, sodass sich die soziale Welt in einem stetigen Wandel be- 
findet (Taylor 2004, 24). In einem solchen Prozess ermöglichen neue Praktiken 
wiederum neue Perspektiven, die dann die neue Praktik mit Sinn füllen. Das 
heißt, dass unsere moralischen Vorstellungen dem Status quo nicht unbedingt 
entsprechen müssen: Sie können diesen überschreiten, neue Visionen entwi- 
ckeln, die dann wiederum neue Praktiken hervorrufen und so Stück für Stück 
eine Veränderung in der sozialen Imagination bewirken (Taylor 2004, 28). Auf 
diese Weise wird eine neue Perspektive handlungswirksam und, setzt sie sich 
durch, wird sie irgendwann zu einem selbstverständlichen Hintergrund, der 
kaum erwähnenswert erscheint (Taylor 2004, 29). In Worten des Theologen 
Florian Höhne: 


»Das sozial Imaginäre lässt [...] nicht nur (neue) Praktiken initiieren. Neue 
Praktiken wirken — wie Taylor betont — auch in das sozial Imaginäre zurück. 
Neue Dinge, etwa neue Technologien verändern Praktiken, was wiederum 
neue Deutungen, Theorien und Vorstellungen schafft, die über die Zeit in 
das Selbstverständliche des sozial Imaginären einsickern können.« (Höhne 
2022, 117) 


Eine philosophische oder soziale Theorie ist dann die Abstraktion geteilter 
Praktiken einer bestimmten sozialen Gruppe (Taylor 2004, 29f). Für westliche 
Gesellschaften etwa weist Taylor auf die prägende Rolle von Öffentlichkeit, 
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oder aber die Herrschaft des Volkes hin, die jeweils mit bestimmten sozialen 
Imaginationen und Praktiken einher gehen. 

Im Blick auf die hier angesprochenen Narrative und Bilder von Technik 
heißt das, dass der Terminator, auch wenn der Inhalt des Filmes rein fiktio- 
nal ist, eine bereits vorgängige Intuition aufnimmt - sonst würde sich uns die 
Handlung des Filmes nicht erschließen und die Filme wären Ladenhüter ge- 
blieben. Zugleich aber wirkt die Imagination normativ auf unsere Vorstellun- 
gen für den Umgang mit hochentwickelter (Waffen-)Technik. Es ist die Vor- 
stellung der kaltblütigen Maschine, die erbarmungslos tötet, die hier einer- 
seits als soziale Selbsterschließung des Umgangs mit Technik gesehen werden 
kann. Zugleich verbirgt sich dahinter der Imperativ, niemals solche Technik 
herzustellen, wenn die Zukunft nicht entsprechend dystopisch aussehen soll. 
Dass diese sehr pessimistische Art der Darstellung sich mit der Maschine, die 
selbstloser ist als der Mensch, paart, macht das Narrativ im Film nur umso 
schillernder: Der Terminator opfert sich selbst, um die Menschheit zu schüt- 
zen, denn sein Dasein gefährdet deren Zukunft. 

Greifbar werden beide Narrative gegenwärtig in der Debatte um autoregu- 
lative Waffensysteme, wenn auf der einen Seite die möglichen Vorteile dieser 
Maschinen gepriesen werden, die letztlich menschlicher als der Mensch funk- 
tionieren sollen (Arkin 2009; Müller 2016). Autor*innen, die so argumentieren, 
knüpfen damit an das Narrativ der selbstlosen Maschine an, die ihr »Leben« 
für den Menschen geben würde. Auf der anderen Seite verbinden Gegner”in- 
nen der Technik ihre Darstellung nicht selten mit dem Sprachbild des Killerro- 
boters, was keineswegs nur als eine neutrale Beschreibung der Technik gesehen 
werden muss, wie etwa die Campaign to stop killer robots bereits in ihrem Namen 
deutlich macht (Campaign to stop killer robots n.d.). Killerroboter sind der In- 
begriff der kaltblütigtötenden Maschine, die rücksichtslos tötet, was ihr in den 
Weg kommt. In diesen entgegengesetzten Narrativen spiegelt sich gleichsam 
das höchst ambivalente Verhältnis zu Automatisierung und Digitalisierung in 
anderen Zusammenhängen. Dass sowohl das Narrativ der selbstlosen Maschi- 
ne wie das des Killerroboters durch die evozierten Bilder und Vorstellungen ge- 
sellschaftliche Vorstellungen aufnehmen und transformieren, sollte deutlich 
geworden sein. Entsprechend ist die Idee, auf die Bedrohung durch diese Sys- 
teme mit dem Terminus des Killerroboters hinzuweisen, weder besonders ori- 
ginell noch erklärungsbedürftig, ebenso wenig wie die Hoffnung, mit neuer 
Technik das Leben der Menschen zu verbessern, bzw. zu schützen. Was sich 
daran aber zugleich zeigt, ist ein Komplex an anthropologischen Fragestellun- 
gen, die viel stärker auf das Selbstverständnis des Menschen zielen. 
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3. Paradoxe Technikimaginationen 


Kommen wir noch einmal zur eingangs erwahnten Erklarung Sarah Connors 
zurück, die festhält: »[I]f a machine can learn the value of human life.... May- 
be we can too.« (Terminator 2 1991). Diese Bemerkung ist aus verschiedenen 
Gründen aufschlussreich. Zunächst einmal ist sie höchst paradox, denn dass 
ein Terminator, dessen namengebende Aufgabe es ist, das Leben von Men- 
schen zu beenden (lat. terminare - beenden), gerade den Wert dieses Lebens 
schätzen soll, ist ein Widerspruch in sich selbst. Zweitens ist es keineswegs 
selbstverständlich anzunehmen, dass eine Maschine so etwas wie den Wert des 
Lebens zu schätzen weiß. Wo das angenommen wird, wird entweder anhand 
menschlicher Vorbilder auf ein nicht vorhandenes Innenleben der Maschine 
zurückgeschlossen, ein Vorgang den Frederike van Oorschot als imitative Ima- 
gination ausgewiesen hat (van Oorschot 2023) — oder aber eine Simulations- 
perfektion vorausgesetzt, die alles andere als trivial ist.’ Drittens - und darauf 
kommt es hier an - geht Sarah davon aus, dass die Maschine dem Menschen 
ein Vorbild in Bezug auf ihre ethische Kompetenz werden kann, denn im Ge- 
gensatz zu den Menschen, weiß die Maschine ja anscheinend nicht nur besser, 
was der Wert des Lebens eigentlich ist, sondern kann auch noch besser als der 
Mensch danach handeln. Entsprechend ist die dramatische »Selbsttötung« des 
Terminators am Ende des Filmes folgerichtig. 

Dass diese Vorstellungswelten nicht nur unter Science-Fiction-Autor*in- 
nen verbreitet sind, zeigt ein Blick in die Forschungslandschaft zu autoregula- 
tiven Waffensystemen, wo beispielsweise der Robotiker Ronald C. Arkin davon 
ausgeht, dass dank der fortschreitenden Technik Kriege humaner ausgetragen 
werden könnten. Er schreibt hierzu: 


»Roboter sind bereits jetzt schneller, stärker und in einigen Fällen (z.B. Deep 
Blue, Watson) intelligenter als Menschen. Warum fällt es uns dennoch so 


1 Bemerkt sei an dieser Stelle, dassja auch der Mensch, bzw., die kognitiven Prozesse des 
Menschen, wie Intelligenz, Lernen, Autonomie, Urteilen hier simuliert werden sollen. 
Trotz der anthropomorphisierenden Sprechweise aber fallen die kognitiven Prozesse 
des Menschen mit den Rechenoperationen der Maschine nicht in eins. Auch wenn der 
Mensch diese ihm eigenen Prozesse in der Maschine wiederzuentdecken meint, han- 
delt es sich dabei um bloße Simulationen. An Stellen aber, wo davon ausgegangen 
wird, dass eine solche Simulation in einer (nicht) näher spezifizierten Zukunft tatsäch- 
lich dem Menschen zum Verwechseln ähnlich ist, bleiben viele technische Fragen of- 
fen. 
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schwer uns vorzustellen, dass sie irgendwann fähig sein könnten, uns auf 
dem Schlachtfeld menschlicher zu behandeln als wir Menschen selbst — 
obwohl sich menschliche Kampfkräfte in diesen Situationen immer wieder 
furchtbare Grausamkeiten zuschulden kommen lassen?« (Arkin 2014, 5). 


Der Philosoph Vincent C. Müller kommt zu einem ähnlichen Schluss, wenn er 
autoregulative Waffensysteme langfristig als eher gute Neuigkeiten beschreibt 
und für ihn klar zu sein scheint, dass solche Systeme die menschlichen Kos- 
ten im Krieg verringern würden (Müller 2016, 78). In diesen wissenschaftlichen 
Ausführungen scheint das Narrativ der Maschine, die menschlicher ist als der 
Mensch zu greifen. Ist dem so, dann liegt es nahe, wie Arkin dies tut, davon 
auszugehen, dass es einen moralischen Imperativ zur Erforschung und Nut- 
zung solcher Technologien gibt (Arkin 2014, 5). 

Wie bereits beschrieben, ist jedoch genau diese Annahme äußerst voraus- 
setzungsreich und an dieser Stelle sogar explizit erweitert um die Unfähig- 
keit des Menschen selbst moralisch integer zu handeln, allem voran auf dem 
Schlachtfeld. Um dies zu konstruieren, geht Arkin in seinen Beiträgen umfas- 
send auf die moralischen Unzulänglichkeiten des Menschen ein, die vor allem 
auf dem Schlachtfeld zu Tage treten. Ob es die Lust an Rache, die Notwenigkeit 
zum Selbstschutz, das Töten aus Angst, Müdigkeit oder schiere Überforderung 
ist: die Maschine scheint die bessere, weil rationalere Wahl zu sein (Arkin 2014, 
5f; ders. 2009, 29-35). Deswegen, so die Argumentation, kommt es zu weni- 
ger Opfern. Im Vergleich mit der Maschine, schneidet der Mensch hier also 
schlechter ab. 

Der Vergleichspunkt, an dem sich Arkin hier orientiert, stammt aus 
Normen und Pflichten der Mitmenschlichkeit. Diese haben ihre juristische 
Ausprägung im internationalen Völkerrecht gefunden, etwa der Genfer Kon- 
vention, die zwischen Kombattant*innen und Nicht-Kombattant*innen 
unterscheiden, und den Schutz von Nichtkombattant*innen, wie verwunde- 
ten Soldat*innen, oder Zivilist*innen einfordern. Wer nach diesen Spielregeln 
spielt, so die Idee, verhält sich menschlich. Schieben wir das Problem, dass 
solche Waffen gar nicht zwischen Kombattant*innen und Nicht-kombat- 
tant*innen unterscheiden können für einen Moment zur Seite (Geiß und 
Lahmann 2017) und wenden den Blick auf die Argumentationsfigur und das 
dahinterliegende Narrativ, so zeigt sich ein Phänomen, das Günther Anders 
als prometheische Scham bezeichnet. Gemeint ist die »Scham vor der »beschä- 
mend hohen Qualität der selbstgemachten Dinge« (Anders 1956, 23). Anders 
meint damit die Erkenntnis, dass das eigene Leben, der eigene Leib, ja, das 
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eigene Selbst im Gegensatz zur perfekten Maschine Makel aufweist. Da die 
Maschine angesichts des fehlerhaften Menschen als perfekt erscheint, gipfelt 
die prometheische Scham in der Selbstaufgabe des Menschen, nach dem 
Leitspruch: »Da wir schlechter rechnen als unser Apparat, sind wir unzurech- 
nungsfahig; »rechnen« wir also nicht« (Anders 1956, 61). Weil der Mensch hier 
an seine eigenen Grenzen zu stoßen scheint, gibt er »unzurechnungsfahig« 
die Kontrolle vertrauensvoll an die Maschine ab. 

Das Problem, das einer solchen Erzahlung zu Grunde liegt, weist Florian 
Héhne in seinem Aufsatz als Reduktion des Menschenbildes auf den risiko- 
informierten Entscheider aus: Der Mensch vergleicht sich mit der Maschine, 
allerdings nimmt er zum Maßstab die Fähigkeit Entscheidungen zu treffen, 
die eine gewisse Risikokalkulation beinhalten. Da die Maschine aber schneller 
und präziser rechnet, schneidet der Mensch hier schlechter ab, ohne dass 
jedoch andere Kompetenzbereiche in den Blick genommen werden (Höhne 
2022). Mein Interesse hier gilt aber nicht so sehr der Auswirkung, sondern 
vielmehr dem Grund für eine solche reduktive Annahme. Und dieser zeigt 
sich hier in der Scham vor der Technik: Durch die zugrundeliegenden An- 
thropomorphisierungsprozesse (Kunkel 2023), vermittelt durch Filme wie den 
Terminator, identifiziert sich der Mensch mit der Technik - und sieht sich 
dann im Vergleich mit der Maschine an der gestellten Aufgabe scheitern. Das 
Problem aber ist: Hier werden Birnen mit Äpfeln verglichen, denn sachlich 
gibt es keinen Grund zur Gleichsetzung von Mensch und Maschine, besonders 
in ethischen Fragestellungen. Das liegt vor allem daran, dass für morali- 
sche Handlungen eine Vorstellung vom Handlungskontext, ein Welt- und 
Selbstbild nötig ist. In philosophischen Termini: ein autonomes Selbst. Eine 
Maschine, auch, wenn sie mit Verfahren sogenannter künstlicher Intelligenz 
arbeitet, hat ein solches Selbst jedoch nicht. Sie hat auch keine Vorstellung von 
der Welt und allem, was sich darin befindet. In Worten des Philosophen Brian 
Cantwell Smith: sie rechnet, urteilt aber nicht (Smith 2019). Um moralisch 
zu handeln, braucht es aber ein Selbst- und Weltbild, um zu verstehen, was 
es bedeutet sich in dieser Welt handelnd zu bewegen und aufgrund dessen 
(moralische) Urteile zu fällen (Kunkel 2021). Maschinen, die ihren Weltzugang 
jedoch berechnen, können dies nicht, denn sie haben kein Verständnis davon, 
was sie berechnen. Kurzum: Sie wissen nicht, womit sie es zu tun haben. 
Nichtsdestotrotz ist das Motiv des mitmenschlichen Terminators handlungs- 
wirksam, weil es diese Identifikationsprozesse ermöglicht, informiert und 
aufrechterhält. 
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Etwas anders gelagert ist die Problematik im entgegengesetzten Narrativ 
von der kaltblütig mordenden Maschine, wie sie etwa im Terminus des Killer- 
roboters Ausdruck findet. Hier ist das Narrativ an der dystopischen Zukunft der 
Terminator-Reihe angelehnt und bedient die Angst vor der Machtübernahme 
durch Technik, weil sie gerade nicht in der Lage ist, ihre implementierten 
Rechenoperationen zu verstehen. Eine solche Technik kann kaltblütig töten, 
eben weil sie nicht weiß, was Leben ist und was Sterben bedeutet. Letztlich 
jedoch treten auch in dieser Imagination dieselben schamhaften Mechanis- 
men hervor: insofern die Gegner*innen autoregulativer Waffentechnik darauf 
bestehen, dass solche Waffen niemals hergestellt werden dürfen und dabei auf 
die potentielle Vernichtung der Menschheit durch solche Systeme verweisen 
(Future of Live, n.d.) ist zugleich die Idee der übermenschlichen und nicht 
mehr zu stoppenden Maschine beschworen.” Das schamhafte Moment und 
damit der Impuls die Tötungsentscheidung an die Maschine abzutreten tritt 
hier gegenüber einem ungeheuerlichen, angsteinflößenden zurück. Dieser 
jedoch wirkt, als wäre der Mensch dem handlungsunfähig ausgesetzt. Et- 
was überspitzt formuliert: Wenn solche Systeme erst einmal gebaut werden 
dürfen, dann übernehmen Killerroboter die Macht. Dass auch hinter der Ent- 
wicklung und dem Einsatz von Waffensystemen jeder Art Menschen stehen, 
die mit bestimmten Motiven diese Waffen herstellen und vertreiben, kann 
dabei schnell aus dem Blick geraten. Interessant scheint mir aber, dass die 
»Scham vor der »beschämend« hohen Qualität der selbstgemachten Dinge« 
(Anders 1956, 23) auch in diesem Narrativ erhalten bleibt - auch wenn sie 
in einem diametral entgegengesetzten Imperativ mündet, nämlich in der 
Forderung, diese Waffen gar nicht erst herzustellen, gerade weil sie, einmal in 
Gang gesetzt, nicht mehr zu stoppen sein könnten. 


4. Der Mensch im Spiegel Gottes 


Das Problem, das ich in den beschriebenen Zusammenhängen sehe, ist letzt- 
lich ein anthropologisches: Indem der Mensch sich mit der Maschine iden- 


2 Gleichzeitig ist der Gedanke nicht von der Hand zu weisen, dass solche Waffen sich 
verselbstständigen, denn genau da scheint das Ziel einer autoregulativen Waffe zu 
sein. Einmal losgelassen jedoch könnte sie einen einzelnen Fehler innerhalb kürzester 
Zeit in rasanter Geschwindigkeit wiederholen — mit potentiell fatalen Folgen (Scharre 
2016). 
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tifiziert und vergleicht, verandert sich gleichsam seine Selbstwahrnehmung, 
die jedoch letztlich einem Trugschluss aufsitzt. Am Beispiel des Terminators 
heißt das, dass der Versuch Mitmenschlichkeit mit Hilfe von Robotik zu erler- 
nen zum Scheitern verurteilt sein muss, denn die Maschine ist ja gerade nicht 
menschlich, kann also auch nicht mitmenschlich »handeln« und die Imagina- 
tion, dass dies so sei, ist eine Fehlinterpretation der Technik. 

Wo dies aber dennoch geschieht, maschinisiert der Mensch nicht nur sich 
selbst (Fuchs 2020; Koch 2016), sondern übersieht zugleich, dass Technik nicht 
unabhängig vom Menschen existiert - genauso wenig wie Sprache (Coeckel- 
bergh 2017). Auf den Punkt gebracht heißt das: Der Terminator hat kein Ei- 
genleben, weil er immer schon mit Daten operiert, die in der Lebenswelt des 
Menschen fußen. Nicht nur das, er ist auch mit einer spezifischen Intention 
ausgestattet - in diesem Fall zu töten - und auf eine gewisse Art und Weise 
gestaltet, die diesem Ziel entspricht. Wo einer solchen Entität ein Eigenleben 
unterstellt wird, das dann wieder lehrreich für den Menschen sein kann, ge- 
rät zum einen die Intention der Designer*innen, Programmierer*innen oder 
Betreiber*innen aus dem Blick - und damit zugleich die Frage nach den da- 
hinterliegenden Machtstrukturen, denn ein bestimmtes Gerät wird ja stets zu 
einem gewissen Zweck hergestellt. Zum anderen - und das ist das, worauf 
es hier ankommt - verändert sich durch die Unterstellung eines Eigenlebens 
die Beziehung des Menschen zur konkreten Technik, die dann leicht als echtes 
Gegenüber missverstanden werden kann, beispielsweise indem sie anthropo- 
morphisiert wird (Kunkel 2023; van Oorschot 2023). Mit diesem Bild von Tech- 
nik als echtem Gegenüber, als autonomen Selbst, kann sich der Mensch iden- 
tifizieren, vergleichen und sich von daher auch verstehen. Und es liegt nahe 
sich vorzustellen, dass eine solche anthropomorph gestaltete Maschine auch 
als ein Sinnbild für den Wert menschlichen Lebens steht - auch wenn sie die- 
sen nur simuliert (Coeckelbergh 2010, 237). Da es sich dabei jedoch um einen 
Trugschluss handelt, lautet die entscheidende anthropologische Frage welche 
Alternativen der Konstitution des Menschen in theologisch-ethischer Perspek- 
tive zur Verfügung stehen, wie der Mensch sich also besser verstanden weiß als 
durch die Reflexion, die Spiegelung mit Hilfe von Technik. 

In der christlichen Tradition ist hierbei die Vorstellung zentral, dass der 
Mensch nach Gen 1,26 als Ebenbild Gottes, als sein 0% (zelem), erschaffen wur- 
de. Die Interpretation dieses theologischen Terminus ist keineswegs einfach 
und eindeutig, sondern hochkomplex und vielschichtig (Neumann-Gorsolke 
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2017; Etzelmüller 2021, 278).? Die neuere alttestamentliche Forschung kommt 
jedoch überein, dass es sich bei dem Begriffam ehesten um eine Bildrepräsen- 
tation handelt, ähnlich wie in der alttestamentlichen Vorstellungswelt und sei- 
ner Umwelt der weltliche König Gott repräsentiert (Neumann-Gorsolke 2017; 
Etzelmüller 2021, 278f). »Der Mensch soll, wie der ideale König nach Psalm 72, 
für Recht und Gerechtigkeit sorgen - und so dazu beitragen, dass Gottes gu- 
te Intentionen für seine Schöpfung realisiert werden.« (Etzelmüller 2021, 279) 
Gemeint ist damit eine Beziehungsaussage: Es geht um das Verhältnis zwi- 
schen Mensch und Mit-Welt, um die sorgende Beziehung des Menschen zu 
seiner Umwelt, sei es in Form anderer Menschen, oder der Natur. Ähnlich wie 
es im alten Orient zu den Aufgaben des Königs zählte, für einen umfassen- 
den Rechtszustand zu sorgen, so wird in der Rede vom Ebenbild die Aufgabe 
eines jeden Menschen ausgedrückt einen solchen Zustand handelnd anzustre- 
ben. Recht und Gerechtigkeit bilden das Zentrum menschlichen Handelns und 
Drücken das Ziel menschlicher Bestrebungen aus. Insofern es sich bei dieser 
Interpretation nun um ein Strebeziel in relationalen Verhältnissen der Men- 
schen untereinander handelt - und weniger um eine ontologische Aussage - 
ist damit zugleich ein Sollen ausgedrückt: Es handelt sich also um eine Aufga- 
be, die dem Menschen gestellt ist. Und in dieser relational erwachsenen Auf- 
gabe konstituiert sich der Mensch als Mensch in Beziehung zu anderen Men- 
schen - und zwar aus der ursprünglichen Relation zu Gott heraus. Dadurch 
bleibt der Mensch gerade nicht in seiner Relation zu sich selbst, sondern über- 
schreitet diese mit Blick auf Gott. Dies wiederum kann als Korrektiv auch für 
die Beziehung zur Maschine hilfreich sein, denn so weitet sich der Blick des 
Menschen auf die ganze Fülle anthropologischer Bezüge: Eigenschaften, die 
sich mit Recht und Gerechtigkeit verbinden, etwa. In anderen Worten: Eine 
Beziehung, in der ein Mensch sich vor den Rechenoperationen der Maschine 
schämt und infolgedessen bereit ist, die damit verbunden Handlungen nicht 
mehr selbst auszuführen, übersieht die Defizite der Maschine. Er gibt damit 
nicht nur die Rechenoperationen aus der Hand, er versteht sich selbst nicht 


3 Das betrifft beispielsweise die zentrale Frage inwiefern die alttestamentlichen Aus- 
sagen der Gottesebenbildlichkeit aller Menschen in Spannung stehen zum neutesta- 
mentlichen Befund, dass allein Jesus Christus eben dieses Ebenbild darstellt (Peters 
2010). Oder aber, ob es sich bei der Ebenbildlichkeit des Menschen um eine ontolo- 
gische Qualität handelt, oder eine relationale Aussage, die das Welt- bzw. Gottesver- 
hältnis des Menschen thematisiert (Neumann-Gorsolke 2017). Ich werde mich im Fol- 
genden aufjene Themen und Fragestellungen konzentrieren, die für die Betrachtung 
meiner Fragestellung relevant sind. 
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mehr langer als jemanden, der in der Lage ist diese Operationen selbst auszu- 
führen. 

Entscheidend für meine Ausführungen hier ist aber, dass sich mit der Kon- 
stitution des Menschen von Gott her zugleich Perspektive und Ausrichtung 
verändern: Als Ebenbild Gottes ist der Mensch an Gott orientiert: er weiß sich 
geschaffen und findet Antwort auf die Frage des Woher. Er ist von vornherein 
als Beziehungswesen ausgewiesen. Und als solches an Gott orientiertes Be- 
ziehungswesen (Etzelmüller 2021, 283) kommen zugleich wesentliche Bezie- 
hungseigenschaften in den Blick wie Liebe, Mitleid oder Erbarmen. All dies 
sind Eigenschaften, die das Verhältnis zum anderen herausstellen und aufzei- 
gen, dass erst in einer gelungenen Beziehung der Mensch zum Menschen wer- 
den kann (Etzelmüller 2021, 283). Richtet der Mensch nun aber seinen Blick auf 
die Technik, schaut er letztlich nicht auf diese Beziehungseigenschaften, son- 
dern nur auf bestimmte kognitive Bereiche, Rechnen etwa, in denen die Tech- 
nik dem Menschen überlegen ist. 

Das darf nun aber nicht missverstanden werden. Mit der symbolischen 
Rede vom Ebenbild Gottes geht es mir nicht darum zu kritisieren, dass der 
Mensch sich selbst mit Gott verwechselt und sich darin ein Götzenbild schafft 
- so kann ja die Vorstellung der prometheischen Scham auch gedeutet werden: 
Indem Menschen sich an der Technik orientieren, schaffen sie sich selbst ei- 
nen Gott, weil sie sich an technischen Vorstellungen ausrichten.* Ich verstehe 
aber Anders’ Hinweis auf die prometheische Scham eher so, dass der Mensch 
sich in der Technik wiedererkennt und sie zu einem inneren Anderen wird, 
an dem er sich orientiert und ausrichtet, indem er sich vor ihm schämt. Diese 
Konstruktion des Anderen jedoch hebt nur bestimmte Eigenschaften des Men- 
schen hervor und übersieht dabei zugleich blinde Flecken der Technik. Kon- 
kret heißt das, dass eine Technik, die Muster mit großer Treffsicherheit er- 
kennt, etwa bestimmte Menschen oder Tiere, dadurch noch lange nicht weiß, 
was es heißt ein Mensch zu sein und wie ein Mensch zu fühlen. Also ist sie 
auch nicht in der Lage Mit-Gefühl oder Mit-Leid zu haben, das sich dann in 
erbarmungsvollem Handeln niederschlägt. Genau dies - so zumindest mein 
Vorschlag - versinnbildlicht das Symbol des imago dei. All diese Eigenschaften 
kann aber die Maschine qua Konstruktion nicht haben, denn es fehlt ihr nicht 
nur das dafür nötige Weltwissen, sondern auch das Selbst, das Bewusstsein 


4 Dies etwa kritisiert Noreen Herzfeld in ihrem Artikel In Whose Image? Artifical Intel- 
ligence and the Imago Dei (Herzfeld 2012). Ähnlich verstanden werden kann auch das 
Buch Homo Deus von Yuval Noah Harari (Harari 2017). 
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(Smith 2019, 97-103). Die damit verbundene Gefahr jedoch, geht darüber hin- 
aus, nämlich indem der Mensch sich vorwiegend oder nur noch vom Bild der 
Maschine her versteht - und damit letztlich Eigenschaften wir Mitleid und Er- 
barmen nicht mehr in sein Repertoire aufnimmt. Dass solche Gedanken nicht 
ganz von der Hand zu weisen sind zeigt sich da, wo Robotiker*innen wie Ro- 
nald C. Arkin dafür argumentieren, dass die Technik im Schlachtfeld letzt- 
lich menschlicher als der Mensch operieren kann, weil ihr eben jene mensch- 
lichen Eigenschaften, bzw. Unzulänglichkeiten fehlen. In diesem Bild, klingt 
deutlich die anfangs zitierte Aussage von Sarah Connors an: Mitmenschlich- 
keit können - und sollten - wir von der Maschine lernen, weil diese Normen 
der Mitmenschlichkeit weitaus besser umsetzen kann als der Mensch selbst. 
Dass sich diese Argumentation letztlich selbst widerspricht, zeigt sich schon 
allein daran, dass ein autoregulatives Waffensystem — oder im Falle Connors 
der Terminator - schlicht und einfach kein Mensch, sondern eine Maschine ist 
und dass allein deswegen die Vorstellung gerade von einer Maschine, die zum 
Töten programmiert wurde, Mitmenschlichkeit zu lernen absurd ist. In ande- 
ren Worten: Wer Mitmenschlichkeit von einem autoregulativen Waffensystem 
erwartet, hat einen Kategorienfehler begangen. Die soziale Imagination, die 
hinter diesen moralischen Vorstellungen steht, ist mit den technischen Vor- 
aussetzungen schlechterdings nicht vereinbar. 


5. Zusammenfassung 


Ich habe hier vorgeschlagen, die gegenläufigen Narrative des Killerroboters, 
bzw. des Waffensystems, das mitmenschlicher als der Mensch agiert, mit Hilfe 
von Charles Taylors Theorie der sozialen Imagination zu analysieren. Dabei 
zeigt sich, dass die jeweils erzeugten Bildwelten mit der Idee übermenschli- 
cher Technik agieren, die dann also solche wiederum Rückwirkungen auf das 
Menschenbild hat, da der Mensch sich von dieser Technik her (miss-)versteht. 

Ich schlage dagegen vor mit dem religiösen Symbol des zelem adonai die 
Konstitution des Menschen als mitmenschliches Beziehungswesen zu veran- 
kern. Denn für Gott - und entsprechend den Menschen - scheint mir weder 
die Fähigkeit zur Mustererkennung noch zum Rechnen entscheidend, sondern 
die zum Mitleiden und Erbarmen, zum Handeln und Fühlen. Und eben diese 
Fähigkeiten finden sich in der Maschine nicht. Das Fazit lautet dann, dass der 
Mensch sich über die Eigenschaften des Fühlens und Mitleidens, des Handeln 
und Erbarmens verstehen sollte, weil diese grundlegend für das Weltverhältnis 
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des Menschen sind. Der ethische Imperativ, der sich damit zugleich verbindet, 
ist, dass eben diese menschlichen Eigenschaften nicht der Maschine anheim- 
gestellt werden sollten: Rechnen soll also die Maschine, mitfühlend handeln 
aber der Mensch. Das heißt aber auch, dass Prozesse, die mitfühlendes Han- 
deln erfordern, der Maschine nicht überlassen werden dürfen. 

Um schließlich Sarah Connor noch einmal deutlich zu widersprechen: Mit- 
menschlichkeit von einem Terminator lernen zu wollen ist ein Ding der Un- 
möglichkeit! Mit-menschlichkeit zu lernen ist nur möglich in Auseinanderset- 
zung und im Angesicht von Menschen. Und um zu lernen, was der Mensch ist, 
so lautet zumindest mein Vorschlag, lohnt sich ein Blick in die christlich-re- 
ligiöse Symbolwelt, die mit Bildern wie Ebenbild Gottes die besonderen Eigen- 
schaften des Menschen als Beziehungswesen, als Mit-Mensch herausstellt. 
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Democratic Autonomy vs. Algorithms? Limits and 
opportunities for public reasoning 


Sophie Jörg 


1. Autonomy and Technology: A glance at a long tradition 


Thanks to the ever-growing availability of data and the increasing power of al- 
gorithms, political practices and processes are changing. But what are the im- 
plications of the increasing use of algorithms for people’s political or demo- 
cratic autonomy? Do algorithms have an empowering or disempowering effect on 
us citizens? Drawing on references from the philosophy of technology as well as 
the theory of democracy, this paper makes the case for a differentiated, func- 
tionality-based approach towards the impact of algorithms for public reason- 
ing. By shedding light on the curation, moderation and verification of infor- 
mation by algorithms, it is argued that democratic autonomy - i.e., individu- 
als’ jointly reasoned self-rule or public reasoning - is empowered by algorithms 
if they improve the quality of discourse and utilize the process conditions of 
public reasoning as benchmarks for moderating content. Whereas algorithms 
disempower citizens if they are used as automated shortcuts to the presuppo- 
sitional process of jointly reasoned self-rule of citizens. 

The public debate about the social and political impact of aritifical intel- 
ligence (AI), machine learning- (ML), and deep learning- (DL) technologies in 
liberal democracies seems to be overtaking the earlier concern about the re- 
placement of humans by machines. In this context, amongst others, it is dis- 
cussed how digital infrastructure alters the process of democratic elections 
and public opinion-forming, the voter turnout as well as the voter behavior, 
or how DL can affect political communication in general. Against this back- 
drop, new theories of democracy — such as E-Democracy (e.g., Kneuer 2019), 
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Data Democracy (e.g., Batarseh/Yang 2020), or Liquid Democracy (e.g., Paulin 
2020) — emerged. 

Yet, all these issues - raised in political philosophy as well as political sci- 
ence — resonate with the fundamental question of both the humans’ and the 
technology’s agency and their respective autonomy: Do digital technologies in 
fact expand the scope of human action or do they restrict it? How does this af- 
fect democratic practices and their political legitimacy? By contrast, what kind 
of agency is ascribed to DL-technology, for example? 

Although the debate about human autonomy has experienced a renais- 
sance in the wake of technical automation, exploring the relation between 
technology and autonomy has a long tradition as it has always been a key focus 
of machine ethics and philosophy of technology (Heßler 2019). Autonomy, 
here, is essentially negotiated on both levels: The autonomy of humans on the 
one hand and the autonomy of technology on the other; resulting in a twofold 
meaning of the concept: human autonomy and technological autonomy or 
»autonomous systems (cf. Chiodo 2022). 

However, with the recent advances in DL and ML algorithms and their 
ubiquitous use, the long-standing research on the correlation between tech- 
nology, autonomy, and automation has gained new momentum. The improve- 
ment of complex algorithms inscribed - or rather coded - technology with a 
higher degree of agency resembling in a decisive caesura regarding human- 
computer-interaction (HCI). To date, the effects of this caesura on human 
autonomy have been studied primarily at the individual level, along the lines 
of the enlightenment concept of self-determination (individual or personal 
autonomy) (cf. Laitinen/Sahlgren 2021; Sankaran et al. 2020). Whereas the sys- 
temic dimension of autonomy in the political sense of self-legislation (political 
or public autonomy), as coined especially by liberal theorists of democracy, 
is comparatively omitted — despite the prominent references to the potential 
threats Tech might pose for democracy (cf. Sætra 2021). 

The aim of the paper is to further differentiate the analysis of human au- 
tonomy in the context of algorithm-based technology with regard to the demo- 
cratic theoretical implications of the algorithm-driven shift in HCI. In doing 
so, the reflexive consideration of individual’s personal autonomy shall be ex- 
tended to the notion of autonomy as self-rule on group level, as Max Weber 
might say (Weber 2006 [1948]). To this end, human autonomy will be consid- 
ered not only as an (intrinsic) end in itself, but as a necessary and functional 
element in the fabric of democratic practice. Against this background, the pa- 
per discusses both the drawbacks and merits of algorithms and algorithmic 
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decision-making in the public sphere for citizens realizing their democratic 
autonomy. 


2. Autonomy and Algorithms: Conceptual references 
for an analysis 


Everyday life is permeated by digital, algorithm-based search engines (e.g., 
Google, Bing), translation programs (e.g., Google Translator, DeepL), or rec- 
ommendation systems (e.g., AboutYou, Netflix, Spotify) that serve as decision 
filters for various purposes. Algorithms thus not only influence our taste in 
clothes, movies, or music (Goldschmitt and Seaver 2019), what information we 
receive in our social media news feed (Pentenrieder 2021, 53), they might also 
determine our credit score or political attitude (Cho et al. 2020). »Algorithms«, 
according to Verstandig et al. (2022, 8), »are invisible and yet ubiquitous and 
tangible«’. So, in some respect they might actually determine our thoughts 
and actions. But does this salgorithmization« or »platformization: of the pub- 
lic sphere and communication, as recently postulated by Habermas (2022) or 
Eisenegger (2021), also amount to a dilution of the legitimacy of political deci- 
sion-making in liberal democracies as it infringes people’s democratic auton- 
omy? To further address this question, we will first review the conceptual roots 
of the two main concepts - Autonomy (2.1) and Algorithms (2.2) - in light of the 
aforementioned triad of automation, autonomy and democracy. 


2.1 Democratic Autonomy as jointly reasoned self-rule 


During the European Enlightment the philosophical concept of autonomy 
found its way into Western societies and has been regarded as a core concept 
of modernity ever since (Ihimm/Bächle 2019, 75). As an antonym to external 
determination, it originates in Greek (auto = self; snomos< = law) and refers 
to an individual’s self-determination or self-rule through which people can 
participate as subjects on their own authority (Quante 2013, 47). With Kant, the 
term was linked in the 18th century to the use of human reason, which affected 
the discourse about supposedly »autonomous technology: to this day (Heßler 
2019, 249). With the prominent saying »sapere aude! (engl. »Have courage 
to seize your own reasonl«), Kant’s philosophy paved the way out of mankind 


1 Translated by the author. 
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from »self-inflicted immaturity<. By means of the reason bestowed upon them, 
humanity could free itself from paternalism and foreign domination. Personal 
(or individual) autonomy in this context means the self-determination of the 
human subject through reason. Consequently, autonomous subjects are those 
who have their own freedom of will and decision by utilizing their ability to 
think critically and revise their stances respectively (Pohlmann 2010). 

In the 2oth century, theorists, such as Habermas (1992) and Rawls (1996), 
further differentiated the notion of autonomy in terms of its political dimen- 
sion (cf. Thimm/Bachle 2019, 76). Rawls, for example, conceptualized auton- 
omy - similar to ancient Greece - as a political category for the preservation 
of citizens’ freedom. Unlike personal autonomy, this type of autonomy first 
appears in the political sphere or the political activity of citizens (Weithmann 
2011, 327). According to Rawls, it would be realized by citizens »[...] participat- 
ing in society’s public affairs and sharing in its collective self-determination 
over time« (Ibid.). Habermas, however, argues that this shade of civic or public 
autonomy should not be considered separately from the private or personal au- 
tonomy described at the outset. On the contrary, both concepts are co-original 
(gleichursprünglich), mutually dependent and equally fundamental (Habermas, 
2019, pp. 134, 163; Jorg 2023, 4): Public autonomy, in a nutshell, presupposes 
private autonomy, because it requires a legal system that is legitimate only if 
it guarantees equal freedoms to its subjects. Private autonomy, on the other 
hand, requires public autonomy, as the legal regulation of private autonomy is 
legitimate only ifit emerges from a discursive process that guarantees political 
rights. 

In regard to the emphasis on civic self-legislation, Habermas’s under- 
standing of autonomy is described in the literature as an »attempt to rethink 
the Kantian (and Rousseauian) idea of individual freedom through self-gov- 
ernance« (Anderson 2019, 22). The concrete exercise of self-governance, then, 
takes place within the framework of the public, discursive formation of opin- 
ion and will (Habermas 2019, 161). Accordingly, political autonomy can only be 
achieved by »equal opportunities to participate in processes of opinion- and 
will-forming«* (Habermas 2019, 156). In this respect, the entangled concepts 
of public and private autonomy are essential for a functioning democracy, 
as they pinpoint the necessary capacity of humans to (self-)reflect, critically 
assess, and soundly evaluate solutions regarding complex political, social, or 
individual conflicts (cf. Richardson 2002). 


2 Translated by the author. 
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These philosophical references, however, inform the conception of the 
so-called democratic autonomy, which in essence describes the principle of 
people's jointly reasoned self-rule. In this notion of human autonomy one of 
the most central - if not the most central - democratic maxim culminates: the 
primal demand that »we [the citizens] must reason together in order to rule 
ourselves« (Richardson 2002, 18). Realizing citizens’ democratic autonomy, 
hence, is constitutive for the democratic constitution of political order and 
its legitimacy. Drawing on the co-originality of public and private autonomy, 
then, the idea of being »the author of my private life« (personal autonomy) 
is closely tied to the idea of »joint authorship of our common political life« 
(public autonomy) (Lovett/Zuehl 2022, 469). With this merger of individual self- 
determination and systematic self-rule or self-governance both influential 
manifestations of autonomy are conceived together and united in the terms 
core as »public reasoning about the ends of policy< (Richardson 2002). Drawing 
on Habermas’ influential theory of democracy, this public reasoning, in turn, 
is closely linked to four crucial - albeit demanding - preconditions: The (i) 
inclusivity of all possible topics and participants, (ii) equal distribution of par- 
ticipation opportunities, the (iii) sincerity of all participants, and finally the (iv) 
absence of a coercive communication structure (Habermas 2009, 89). Accordingly, 
democratic autonomy or jointly reasoned self-rule manifests itself in the pro- 
cess of public reasoning; meaning the democratic process of public opinion- 
forming and the public decision-making based on it. 


2.2 Algorithms as mechanism of technical automation 


Algorithms are often recognized as the technical underpinning for technol- 
ogy’s alleged »agency< and sautonomy«. In the following, however, it is argued 
that they equal mechanisms of pure technical automation, which are often 
misinterpreted as autonomous, i.e., self-determined, action of technology. 
What may initially appear to be autonomous action in the course of technical 
processes actually turns out to be nothing more than a complex automation 
of various computing steps programmed by algorithms in order to perform 
specifically defined tasks. While exploring the automation of technology by 
algorithms, possible limits of a technological autonomy: are briefly pointed 
out. 

However, to understand why exploring algorithms is crucial to be aware 
of the implications of digital technologies for democratic legitimacy of polit- 
ical decision-making, it is worth taking a glance at the technical aspects of 
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algorithms: In computer science an algorithm is acknowledged to be a »list 
set of instructions, used to solve problems or perform tasks, based on the un- 
derstanding of available alternatives« (IIG 2023). Algorithms are systematic 
and mechanical methods for solving a well-defined problem, such as efficiently 
searching or sorting vast amounts of data (Belford/Tucker 2023). Due to de- 
tailed »specifications for performing calculations, data processing, automated 
reasoning or decision making« algorithms in fact automate technology’s com- 
puting (IIG 2023). To summarize, computerized algorithms are »structured 
decision-making processes that automate computational procedures to gener- 
ate decisional outcomes on the basis of data inputs« (Gal 2018, 64; emphasis by 
author). They are the technical foundation for many modern technologies that 
we use every day. Digital platforms, such as Google, Netflix or Instagram, are 
just a few examples of this. 

In this sense, digital, algorithm-based technologies, such as AI, could ini- 
tially be ascribed a certain degree of agency as these systems can partly per- 
form the task assigned to them independently or without further human in- 
put. However, a glance at the interrelation of agency and autonomy reveals that 
those processes which prima facie may appear to be a kind of autonomous ac- 
tion of the technology turn out to be merely a form of precise — albeit by now 
highly complex — automation. Within the philosophical discourse it is widely 
acknowledged that an entity’s »agency< manifests its capacity to act or exert 
power on its own (Schlosser 2019). Akin to the concept of »autonomy;, it de- 
notes a comparative state of mind —i.e., a state that can be gradually increased 
or decreased. Depending on a person's or systems agency — meaning their abil- 
ity »to act on the beliefs and values they hold« (Prunkl 2022, 3) - these agents 
can be considered more or less autonomous or self-determined. Hence, both 
philosophical concepts agency as well as autonomy are intertwined. Yet, their 
relation indicates that a sufficient degree of agency enables autonomy in the 
first place. Against this background, it can therefore be presumed that algo- 
rithm-based technologies — to a certain extent - operate as actors. Yet, this 
does not inevitably imply that they are autonomous, since the computational 
processes or actions of AI, for example, are based on previously defined de- 
cision paths and not on the rationality or free will of the technology in ques- 
tion. In this sense, the technology lacks its very own impetus and reasoned de- 
liberation to perform an action in question. Hence, algorithm-based systems 
do not operate out of intrinsic or extrinsic motivations, but because they have 
been created by humans to process these tasks by means of specialized algo- 
rithms. Although algorithms can ultimately provide certain recommendations 
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- e.g., which movie might be of interest to us or whether a melanoma is good 
or malignant — such »decisions< or »actions« are, hence, not based on the free 
will or the rationally guided deliberation of the processing technical system. 
Rather, the machine merely executes a sequence of programmed, previously 
well-defined computational steps that have been inscribed into the technol- 
ogy by computer scientists. The »decisional parameters and rules for weighing 
them«, however, are originally »set by the algorithm’s designer« (Gal 2018, 64f.). 
So, algorithm-based technology can never be fully autonomous. Or as Russell, 
a leading AI researcher and professor of computer science at the University 
of California (Berkeley), stated: »[...] machines, unlike humans, have no objec- 
tives of their own, we give them objectives to achieve. In other words, we build 
machines, feed objectives into them, and off they go. The more intelligent the 
machine, the more likely it is to complete that objective« (Russell 2019). 

So concludingly, computer scientists create the functional spectrum of me- 
chanical autonomization by programming tailored algorithms, which in turn 
have enormous effects or backlashes on us. Regarding the rapid developments 
in the field of algorithm-based technology, it is therefore imperative to further 
question how algorithm-driven automation affects us citizens in our demo- 
cratic autonomy. 


3. »Algorithmization« of Political Communication: Implications for 
public opinion-forming and decision-making 


In the following, these backlashes will be systematically assessed regarding 
the above-mentioned conditions of joint public reasoning according to Haber- 
mas. Central to this, however, are less the informatics underlying algorithms 
than their political effects and objectives: What functions, for example, do al- 
gorithms fulfill in the context of political communication? Do they serve as a 
decision guidance for human action, as they are often portrayed (e.g., Liang et 
al. 2022), or do they gradually disenfranchise humans in the context of their 
political decision-making? 

The subtle salgorithmization« of political communication can be witnessed 
in various settings: Political actors - such as elected officials or representa- 
tives of interest groups and NGOs - for example, use technological proxies 
in the form algorithmically (semi-)automated chat bots to disseminate their 
messages in the most cost- and time-efficient way (Woolley/Howard 2016). 
Moreover, algorithms are utilized to provide people with different messages. 
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By means of so-called micro-targeting strategies, people are given different 
information depending on their algorithmically calculated political interests, 
demographic and social profiles (Zarouali et al. 2022). Further, DL-algorithms 
are used to create or replace the image of one person in videos and other dig- 
ital media, for example a high-ranking member of parliament or a military. 
So-called deep fakes are generated thanks to advanced algorithms. So, algo- 
rithms can be utilized for strategically controlling political communication 
and thereby political opinion making by the distortion ofthe supposed public 
opinion in various ways. Acting as a digital, stochastic calculating spin doctor, 
they deeply interfere in the process of shaping political opinion. Capable of 
shattering trust in politics and the overall facticity of information, they ought 
not to be underestimated (Whyte 2020). Algorithms do not only (pre-)select 
»what information is considered most relevant to us« (Gillespie 2014, 167) and 
then decide with whom which information shall be shared, they also generate 
and curate information by themselves. Mostly neither with our knowledge nor 
consent, algorithms manage our interactions on social networking platforms, 
our personal preferences, and whether we participate in a political discourse 
or not. In other words, algorithms do not just alter political communication 
but create the digital public sphere around us, in which we can exchange ideas 
with others. The amphitheater-like structure of the public sphere, in which 
politically relevant issues are debated and solutions sought together, however, 
is giving way to algorithmically computed filter bubbles and echo chambers - 
i.e., parallel »public spheres: in which people no longer exchange views with 
dissidents but with like-minded people. This algorithm-driven fragmentation 
of the public sphere and the resulting impediment to public deliberation are 
only some - yet the most prominent — destructive consequences Habermas 
analyzes in his latest work A New Structural Transformation of the Public Sphere 
and Deliberative Politics (2022). 

With this power of governing the flows of information, algorithms change 
political communication drastically. By shaping communication channels and 
their respective content, algorithms deeply intervene in the process of public 
opinion- and decision-making. In this sense, the algorithmization of politi- 
cal communication equates to a radical intrusion into democratic processes in 
general and citizens’ ability to truly exercise their democratic autonomy in par- 
ticular; as the state of information and the algorithmically induced fragmenta- 
tion of the public sphere have a very significant influence on how and whether 
people can and want to engage in discourse: algorithms inevitably impact the 
accessibility and inclusivity of discourse, the equality of contributions and oppor- 
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tunities for participation, the sincerity of all participants, and the informality 
of exchange. Due to algorithms, the supposedly invisible becomes visible and 
the supposedly visible becomes invisible. What may feed new, rather minority 
voices and ideas into the discourse, may also cancel out opinions or deliberately 
bring them into focus. 

To conduct a more nuanced analysis of the algorithm-driven expansion or 
restriction of democratic autonomy and action, it seems useful to first take a 
more nuanced look at algorithms’ various functions in dealing with informa- 
tion. Drawing on Sauerwein et al. (2022) research, three key functions can be 
distinguished: the (I) curation and filtering of existing content, the (II) moder- 
ation of specific content, and finally the (III) verification of this content. In the 
following, the effects of all these categories on people’s democratic autonomy 
or their jointly reasoned self-rule will be considered. 


3.1 Curation and filtering of content 


The curation and filtering of information - i.e., finding, compiling and orga- 
nizing relevant content - is one of the most discussed functions of algorithms 
in the context of political communication (cf. Berman/Katona 2020). Accord- 
ing to Berman and Katona (2020, 298f.), the literature on curation algorithms 
initially focused on the economic design and the impact of algorithmic cura- 
tion and filtering on consumers. Other researchers examined the impact on 
user consumption behavior and any change in terms of the streamed infor- 
mation’s quality (Athey et al. 2017). The citizen perspective, on the other hand, 
lately received attention with studies on trends of polarization of discourse 
triggered by curating algorithms, increasing authorship by users or more ac- 
tive participation in online discussions, and the spread of political ideologies 
through pre-filtering algorithms (Cho et al. 2020). 

However, the observed and expected effects of this seem to be ambivalent. 
At first, the potential of algorithmic curation gives rise to hopes of a sub- 
stantial expansion of democratic autonomy: By reliably processing the large 
amount of information and data available today according to appropriate 
criteria, information that is relevant for discourse or common reasoning 
can be identified, filtered, and prepared for further reflection. By means of 
their advanced and robust pattern recognition, algorithms could not only 
distinguish valid contributions from illegitimate ones - for example, hate 
speech and other defamation and thus, according to Habermas, illegitimate 
content in political discourse — but contributions could also be pre-structured 
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into specific argumentation patterns or core statements. In this way, factual 
arguments could be filtered out of vast piles of data and fed into the discourse 
in a way that is prepared for further discussion. In addition to possible strands 
of argumentation, it would also be possible to cluster interest groups and 
the premises or demands underlying the contributions, which could be hi- 
erarchized in a further step by means of algorithms according to their logic 
and stochastically mapped according to their agreement in the discourse. 
Such possibilities would not only make it easier for citizens to obtain relevant 
information more quickly, but also provide them with an already sensibly 
prefabricated basis for the further reflection process. Curating and filtering 
information through algorithms can not only simplify and optimize access to 
content relevant for legitimate, public opinion and decision-making, it also 
facilitates linking and confronting the participants and their ideas within 
discourse - regardless of their intellectual capabilities, individual language 
skills or eloquence etc. Advanced algorithms in natural language models, 
for example, are already capable of reading out written text, transforming 
spoken words into text and/or translating it into a desired language. Such 
accessibility, in turn, would allow more people - especially minorities, such 
as blind or illiterate people - to participate equally in political discourse and 
make their voices heard. Citizens jointly reasoned self-rule and the public 
reasoning as such, it could be argued, would be simplified by the algorithm- 
based automation of these curations; the exercise of the democratic autonomy 
of citizens would thus be facilitated. 

And yet, automating the curation of information by delegating it to al- 
gorithms does not necessarily lead to greater inclusion, participation, and 
a higher quality of political discourse. After all, the curation of information 
is always necessarily connected with the evaluation, selection or filtering of 
information, from which some pitfalls for democratic autonomy can be de- 
rived: Saurwein et al. (2022), for example, identify several risks associated with 
technically automated filtering and curation. For example, the emergence of 
errors and unwanted selections by algorithms. If, for example, admissible 
contributions were filtered in advance and excluded from the discourse based 
on incorrectly placed markers or keywords, this would not only violate the pro- 
cess condition of inclusion and accessibility, but also the participation rights 
of citizens. In this respect, their autonomy would be unjustifiably restricted by 
automation via algorithms. The targeted manipulation of citizens during the 
public opinion and decision-making process can also be seen as a significant 
restriction of democratic autonomy. This is because the parameters according 
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to which the responsible algorithms classify content as relevant or irrelevant 
are usually unknown to us. This intransparency or opacity of algorithm-based 
filtering and preselection of information ultimately leads to a downright 
distortion of public opinion formation - resulting in cutting citizens’ self- 
determination. Citizens could no longer reason together, on an equal footing, 
when they have such a variety of information at their disposal. According 
to the current logic of algorithms, information flows are strongly tailored 
to individual needs and preferences. This logic is inevitably followed by in- 
formation asymmetry, which makes reasoning on an equal footing, without 
constraints almost impossible. The emergence of such information and power 
asymmetries, on the other hand, can be additionally reinforced by strategies 
such as micro-targeting already mentioned. 

By consciously and specifically controlling the flow of information through 
micro-targeting - i.e., addressing tailor-made messages, which is geared to- 
ward addressing pursuable or mobilizable citizens (Kruschinski/Haller 2017, 3) 
- information can be disseminated without passing through the public space 
and made accessible to all. This unequal or imbalanced exchange of informa- 
tion, in turn, can lead to a distortion of reality and thus of perceived public 
opinion. So political microtargeting by means of algorithms, however, does 
not necessarily lead exclusively to a reduction of democratic autonomy. Cit- 
izens can also be encouraged to participate in discourse when information is 
curated and filtered accurately and correctly. Tailored messages might be more 
relevant for users, helping them to better keep up with central political issues 
and arguments, which might amplify the effects of better voter turnouts and 
a more active citizenry exercising their democratic autonomy. In addition to 
this potential for mobilizing citizens, their political knowledge and general 
informedness could also be improved through algorithm-driven subject-ori- 
ented curation, which in turn could improve the fundamental quality of shared 
reasoning. 


3.2 Moderation of specific content 


As Gorwa et al. (2020, 1) state »[a]Jutomated hash-matching and predictive ma- 
chine learning tools - what we define [...] as algorithmic moderation systems 
- are increasingly being deployed to conduct content moderation at scale [...] 
for user-generated content«. By means of these algorithmic moderation tools, 
problematic, toxic, or hostile statements such as hate speech can effectively 
be identified, deleted and prevented. With the increased use of algorithms for 
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content moderation, a growing body of research examines the political, social, 
and economic impact of this function of algorithms (cf. Kaye 2019). 

Drawing on Gorwa et al. (2020, 3), we can distinguish between two mod- 
erating systems: Those, who decide about the visibility of accounts and their 
content (hard moderation) and systems utilizing rather soft moderation-tech- 
niques, such as recommendation systems or nudging by design. The political 
power of algorithms, however, becomes particularly evident in its function of 
hard content moderation: through the moderation of content — i.e., the techni- 
cally automated decision-making as to which information is permitted in the 
discourse and which statements must be deleted or censored - a wide-reach- 
ing power but also responsibility is transferred from the people to the technol- 
ogy they design. Similar to curating, this second function of algorithms de- 
cides how and what information we perceive and what will be included into 
the political discourse. Against this background, algorithms also function as 
a new mechanism of gatekeeping. What traditionally has been performed by 
humans now is taken over by algorithms. Accordingly, algorithms are in charge 
of the content that is »visible and therefore noticeable to users, and influence 
the diversity of content that is consumed« (Stark et al. 2020, 10). 

The use of these algorithm-based, automated techniques for hard and 
soft content moderation, on one hand, can potentially improve the level of 
discourse and in this way to support the legitimacy of political opinion and 
decision-making. Because algorithms can effectively contribute to supporting 
the processes of the jointly reasoned self-rule by allowing or excluding content 
according to the discourse-ethical conditions of these processes. Thereby, 
they create a democratic or »safe space< in which everyone can freely express 
their respectful and legitimate opinion. In this way, it might be possible to 
mobilize citizens to join the discourse or public reasoning which feared the 
hostilities and hatred within unmoderated communication. In principle, they 
undermine the authorship of the people who have written hate comments 
and other illegitimate contributions, but in terms of democratic theory, those 
statements were not permitted in political discourse or were part of demo- 
cratic autonomy anyways. On the other hand, gatekeeping by algorithms also 
restricts us in our autonomy, ability to act and freedom of decision, as they re- 
strict the information and options through their moderation and gatekeeping 
and thus define the framework for our actions. 

However, if the criteria according to which algorithms moderate content 
correspond to the commercial logic of the platform economy (clickbaiting) - in- 
stead of the above-mentioned discourse ethical premises - algorithms will not 
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remove fake news and hate speech etc., but rather spread it throughout society 
and political dispute. Thereby, incorrectly coded moderation algorithms might 
undermine the »epistemic potential« of political discourse. 


3.3 Verification of content 


In the context of political communication, algorithms are also used to verify 
content. For this purpose, algorithms are developed for reviewing claims 
»with reference information in the form of facts in a knowledge base« (Huynh/ 
Papotti 2019, 689). Hence, the ability, applicability, and performance of fact- 
checking algorithms of course is limited to the set of knowledge with which 
humans trained them and the pool of information which is available to them 
- without any human supervision or reinforcement. 

In their function of verifying the objective accuracy, truth or factuality of 
information, algorithms again fulfill the role of a modern, digital gatekeeper 
that seems to be successively replacing the former control mechanisms, such 
as journalists and mass media. While algorithm-based platforms and search 
engines, such as Google or Bing, facilitate access to content and therefore ex- 
pand human agency, algorithms specially trained to identify fake news, deep 
fakes and other false statements additionally ensure human access to verified 
information and knowledge. This, in turn, not only enables free accessibility 
to objective facts or information, but it also increases people's informed self- 
determination. 

How dangerous disinformation and the targeted dissemination of false 
statements can be for the integrity and legitimacy of political processes has 
become something of a commonplace in discourse (Morgan 2018). Yet, disin- 
formation campaigns not only polarize and radicalize political discourse, they 
affect personal autonomy per se. As Witzleb and Paterson (2020, 227) note, mis- 
as well as disinformation in its various forms is »harmful as it has the potential 
to disrupt our individual capacity for self-authorship and, as a consequence, 
our communal capacity for self-government«. False information can interfere 
with democratic autonomy, as both the sincerity and the honest solution ori- 
entation of the agents involved in political debates can no longer be ensured. 

The implementation of algorithms to contain the spread of misinformation 
and disinformation and its threat for democratic society and citizens’ demo- 
cratic self-determination can therefore rather be seen as an autonomy sup- 
porting than a diminishing function. 
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4. Democratic Autonomy vs. Algorithms: Modelling the limitation 
and expansion of democratic autonomy 


Based on the previous discussion of the algorithmization of political commu- 
nication, finally, an attempt will be made to model the potential limitation and 
expansion of democratic autonomy by algorithms. To this end, the developed 
theses on the political implications of the (I) curation and filtering, the (ID 
moderation and (III) verification of content by algorithms will be systematized 
and summarized. 

Considering the process conditions of joint deliberation and democratic 
autonomy, the elaborated merits and drawbacks can be presented as follows. 
The table is divided into the preconditions of democratic autonomy and the 
discourse conditions of joint reasoning, on one hand, as well as the functions of 
algorithms in the context of political communication, on the other. The mark- 
ings indicate which conditions are endangered by which function: 


Table 1: Synthesis of limits and opportunities for democratic autonomy due to algo- 


rithms 
Condition Accessibility & | Equality of Sincerity Informality of 
Inclusivity Contributions & of all Exchange 
Function Participation Participants 
Curation & x 
Filtering 
Verification 
Moderation x x 
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In conclusion, it became evident that the individual functions of algo- 
rithms point to their power as new control mechanisms of the information 
flow and gatekeepers of discourse. The algorithmically controlled automa- 
tion of information and communication, it was shown, creates the danger of 
»shortcuts«. The arduous process of jointly public reasoning - i.e., the active 
exercise of democratic autonomy, which is tied to rather demanding condi- 
tions — could possibly be circumvented or, in some aspects, even replaced by 
algorithms. Like many democratic theorists, Lafont - a former student of 
Habermas - warns of such cutbacks, as they have occurred throughout history 
(Lafont 2020). The participation of citizens and the free exercise of their self- 
determination should under no circumstances be undermined by supposedly 
efficient shortcuts. The »ideal of self-government« as vital, »participatory 
aspect of democracy« (Lafont 2020, 7), threatens to be undermined by taking 
supposedly easier or more efficient paths. 

By contrast, the technical autonomization of fundamental, democratic 
processes, such as one’s own walk to the ballot box or the struggle to find 
solutions to political issues, can be seen as such a shortcut. The algorithm- 
based processing of information necessary for reflective participation in 
public decision-making and opinion-forming could already be interpreted 
as the preliminary stage of such a development. Political alienation and the 
impediment of true democratic autonomy are the consequences of such shifts. 
Or as Lafont claims: »Democratic participation in decision-making is essential 
to prevent an alienating disconnect between the political decision to which 
citizens are subject and their political opinions and will« (Lafont 2020, 22f.). 
Algorithms, it had been shown, appear in both forms: On the one hand, they 
serve us as decision-making aids by facilitating access to objective facts and 
consensus-oriented input. They promote the inclusion of the other and in par- 
ticular of those who think differently. Whereas, on the other hand, algorithms 
also force the exclusion of the other and of those who think differently by 
creating deep fakes or by moderating content in discourse in a click-oriented 
rather than a consensus-oriented manner. In this way, they no longer function 
as a decision-making aid in political interaction, but as a distorting mirror of 
public opinion and perception, which makes discussion at eye level and the 
free exercise of democratic self-determination by all almost impossible. The 
danger of manipulation and thus, to a certain extent, the >disenfranchisement« 
of citizens grows with every use of algorithms and bots to deliberately change 
the climate of opinion. Citizens, with their individual opinions, rights and 
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political views, are increasingly relegated to the background. They are reduced 
to a number to be recorded statistically. 

Algorithms, on the other hand, are to be commended if they improve the 
quality of public reasoning. For example, through the targeted verification of 
content, the identification and subsequent filtering of toxic statements and the 
clustering of certain strands of argument. Algorithms should therefore be used 
to improve the level of political debate and thus also protect the ideal of demo- 
cratic self-determination. On the other hand, they should not be used to subtly 
and implicitly as well as explicitly force citizens to forego their right of politi- 
cal self-determination or even to no longer be able to exercise it. Rather, they 
should be used »to force the political system to take >the long road: of properly involving 
citizenry« (Lafont 2020, 159). 


5. Concluding Remarks 


Thanks to the ever-growing availability of data and the increasing power of 
algorithms, political practices and processes are changing. But what are the 
implications of the increasing use of algorithms for people's political or demo- 
cratic autonomy? Do algorithms have an empowering or disempowering effect 
on us citizens? 

The paper aimed to address this question by drawing on references from 
the philosophy of technology as well as from the theory of democracy. In course 
of this, the philosophical concept of autonomy was extended to the political 
idea of so-called democratic autonomy, as elaborated by Habermas. The paper, 
further, offered a short note on the importance of algorithms as key mecha- 
nisms for technical autonomation. It became clear that algorithms have a pro- 
found impact on the way people discuss current affairs and engage with each 
other as well as politics. 

In conclusion, the paper argues that algorithms can be a threat to citizens’ 
autonomy and their right to informational self-determination at the individ- 
ual level, but they can also be challenging to the discursive process of opinion- 
and will-forming at the structural level. In both cases, however, algorithms de- 
cisively determine the basis on which humans’ political decisions are made or 
an action is taken. Regarding the systematization of algorithms’ functions and 
their impact on the preconditions of jointly public reasoning, the paper found 
that the (3.1) curation and filtering by algorithms infringes the necessary infor- 
mality of exchange. Whereas algorithms (3.2) verifying content are empower- 
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ing humans in their ability to participate in discourse or the joint public rea- 
soning, as it contributes to the improvement of the discourse’s quality and thus 
counteracts the chilling effects and the radicalization and polarization of the 
discourse. The (3.2) content moderation by algorithms, in contrast, might di- 
minish both the informality of exchange as well as the equality of contributions 
and participation in discourse. 

As the paper noted, human autonomy has become a theme across vari- 
ous guidelines and principles on the responsible use and design of algorithms. 
However, according to Setra, Borgebund and Coeckelbergh (2022, 804), there 
is a tendency within AI research to adopt the concept of democracy and its as- 
sociated norms merely as buzzwords - without referring to their further po- 
litical and historical significance. The paper’s objective has been to shed light 
on the political dimension of the various effects the growing power of algo- 
rithms hold for humans’ political or democratic autonomy. Against this back- 
ground, fundamental questions remain untouched, such as whether political 
discourse will be obsolete one day because the better argument or the better 
solution for political conflicts could be found algorithmically. Are algorithm- 
based automations, such as finding political solutions through mathematical 
calculations instead of the deliberative ideal of communicative negotiation, be 
permissible in terms of democratic theory or should they be rejected as de- 
structive shortcuts? These and many other questions remain to be researched 
in the future. 
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mand“ unter der Leitung von Prof. Doris Aschenbrenner an der Hochschule 
Aalen. Gegenstand ihrer Forschung ist die gemeinschaftliche und partizipati- 
ve Entwicklung und Erprobung von KI-Systemen in der „Arbeitswelt der Zu- 
kunft“. 


E-Mail: cecilia.colloseus@hs-aalen.de 


David Benjamin Ehrlich (M.Sc.) arbeitete von 2019 bis 2022 als Wissenschaftli- 
cher Mitarbeiter im ökonomischen Teilprojekt des vom BMBF geförderten For- 
schungsprojekt CwiC (Coping with Certainty). In dieser Position untersuchte er 
aus wirtschaftsökonomischer Perspektive, wie Personen mit Ungewissheiten 
umgehen und welche Kosten sie zu tragen bereit wären, um zusätzliche Infor- 
mationen zu erhalten oder auch nicht zu erhalten. 

E-Mail: david.b.ehrlich@gmail.com 


Marc Hauer (M. Sc.) ist Senior Solution Architect im TÜV AI.Lab und beschäf- 
tigt sich dort mit den Herausforderungen der Zertifizierung KI-basierter Pro- 
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dukte. Zusätzlich berät er im Auftrag der Trusted AI GmbH zu Grundlagen und 
aktuellen Entwicklungen rund um KI. Als medienpädagogischer Referent des 
Landesmedienzentrums Baden-Württemberg bildet er Schüler, Eltern, Leh- 
rer und Senioren zum Themenkomplex KI an der Schnittstelle zur Gesellschaft 
weiter. Darüber hinaus engagiert er sich in der Erstellung und Harmonisie- 
rung von KI-Normen bei DIN, ETSI und CEN-CENELEC. Seine Dissertati- 
on zur Frage wie man Softwareentwicklungsprozesse und primär KI-basier- 
te Softwaresysteme verantwortungsvoll gestalten kann reichte er im Oktober 
2023 an der RPTU Kaiserslautern Landau ein. 

E-Mail: marc@tuev-lab.ai 


Tanja Henking (Prof. Dr. iur., LL.M.) ist seit dem Wintersemester 2015/2016 
Professorin für Gesundheitsrecht, Medizinrecht und Strafrecht an der Tech- 
nischen Hochschule Würzburg-Schweinfurt und leitet dort zudem seit 2019 
das im selben Jahr gegründete Institut für Angewandte Sozialwissenschaften 
(IFAS). Sie forscht zu medizinrechtlichen und -ethischen Fragen am Lebens- 
anfang und am Lebensende, zu Einwilligungsfähigkeit, Zwang und Patienten- 
rechten von Menschen mit psychischer Erkrankung, Digitalisierung und Ein- 
satz künstlicher Intelligenz in der Medizin. 

E-Mail: tanja.henking@thws.de 


Andreas Hotho (Prof. Dr.) ist Lehrstuhlinhaber für Data Science an der Julius- 
Maximilians-Universität Würzburg und Sprecher des Center for Artificial In- 
telligence and Data Science (CAIDAS) der Universität Würzburg. Mit seinem 
Lehrstuhl forscht er in den letzten Jahren zu datenwissenschaftlichen Themen. 
Die Kernforschungsbereiche umfassen die Integration von Wissen in Sprach- 
modelle, die Untersuchung historischer Romane in Kooperation mit den Digi- 
tal Humanities, die Analyse von Unternehmensdaten für Empfehlungssyste- 
me oder zur Erkennung von Anomalien sowie Untersuchungen basierend auf 
Sensordaten zur Luftverschmutzung, zur Klimamodellierung und zum Ver- 
halten von Bienen. 

E-Mail: hotho@informatik.uni-wuerzburg.de 


Sophie Jörg (M.A.) legte ihren Forschungsschwerpunkt nach dem Studium der 
Politikwissenschaft und Philosophie an der Friedrich-Alexander-Universität 
Erlangen-Nürnberg (FAU) sowie der Duke University (NC, USA) auf norma- 
tive Demokratietheorien und politiktheoretische Technikreflexion. Sie lehr- 
te mitunter an der FAU und war als wissenschaftliche Mitarbeiterin in einem 
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KI-zentrierten Forschungsprojekt an der Hochschule für Philosophie (HFPH) 
in München tätig. Derzeit arbeitet sie im Planungsstab der Präsidentin des 
Bayerischen Landtags als Referentin für Strategie und politische Grundsatz- 
fragen. Ihre Dissertation zur Rolle von Plattformdesign im Kontext demokra- 
tischen Handelns im digitalen Raum reichte sie im Januar 2024 an der HFPH 
ein. 

E-Mail: joerg.sophie@web.de 


Christopher Koska (Dr. phil.) ist wissenschaftlicher Mitarbeiter am Lehrstuhl 
für Praktische Philosophie der Hochschule für Philosophie München und Part- 
ner bei der Unternehmensberatung dimension2 GmbH. Er ist Projektkoordi- 
nator des vom bidt finanzierten Forschungsprojekts KAIMo (Kann ein Algo- 
rithmus im Konflikt moralisch kalkulieren?) und Postdoc am Center for Re- 
sponsible AI Technologies (CReAITech). Sein Forschungs- und Arbeitsschwer- 
punkt ist das Themenfeld der Daten- und Algorithmenethik sowie deren Um- 
setzung im Kontext der Corporate Digital Responsibility (CDR). 

E-Mail: christopher.koska@hfph.de 


Maximilian Kraus (M. Sc.) ist wissenschaftlicher Mitarbeiter am Institut 
für Sozioinformatik der Technischen Hochschule Würzburg-Schweinfurt. 
Schwerpunkte seiner Forschung sind Künstliche Intelligenz, Mensch-Ma- 
schine Interaktionen und Brain-Computer Interfaces. Im Projekt KAIMo 
untersucht er Möglichkeiten des Einsatzes von KI im Kinderschutz. 

E-Mail: maximilian.kraus@thws.de 


Nicole Kunkel (Dipl.-theol.) hat in Leipzig, Berlin und Jerusalem studiert und 
ist derzeit Wissenschaftliche Mitarbeiterin am Lehrstuhl für Ethik und Her- 
meneutik an der Theologischen Fakultät der Humboldt-Universität zu Berlin. 
Ihre 2023 verteidigte Dissertation befindet sich derzeit im Veröffentlichungs- 
prozess. In ihr beschäftigt sie sich an der Schnittstelle von Technik- und Frie- 
densethik mit einer ethischen Bewertung autoregulativer Waffensysteme aus 
bedingt pazifistischer Perspektive. 

E-Mail: nicole.kunkel.ı@hu-berlin.de 


Robert Lehmann (Prof. Dr.) ist Professor für Theorien und Handlungslehre 
der Sozialen Arbeit an der Technischen Hochschule Nürnberg Georg Simon 
Ohm und Sprecher der akademischen Leitung des Instituts für E-Beratung. 
Der Schwerpunkt seiner Lehr- und Forschungstätigkeit liegt bei der psycho- 
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sozialen Onlineberatung und dem Einsatz von Künstlicher Intelligenz in der 
Sozialen Arbeit. Näheres unter www.e-beratungsinstitut.de 
E-Mail: robert.lehmann@th-nuernberg.de 


Nicholas Müller (Prof. Dr.) ist Inhaber der Forschungsprofessur Sozioinfor- 
matik und gesellschaftliche Aspekte der Digitalisierung an der Technischen 
Hochschule Würzburg-Schweinfurt und Leiter des Instituts für Design und 
Informationssysteme IDIS. Die Professur ist fakultätsübergreifend und das 
Arbeitsgebiet sowohl in der Informatik und Wirtschaftsinformatik angesie- 
delt als auch in Forschung und Lehre der Fakultäten Angewandte Sozialwis- 
senschaften und Gestaltung eingebunden. Näheres unter: https://fiw.thws.de 
/fakultaet/personen/person/prof-dr-habil-nicholas-mueller 

E-Mail: nicholas.mueller@thws.de 


Carsten Orwat (Dr.) ist wissenschaftlicher Mitarbeiter (senior researcher) am 
Institut fiir Technikfolgenabschatzung und Systemanalyse (ITAS) des Karlsru- 
her Instituts fir Technologie (KIT). Seit 2000 ist er in zahlreichen Projekten 
der Technikfolgenabschatzung von Informations- und Kommunikationstech- 
nologien tatig. Weitere Forschungsschwerpunkte sind Governance und Regu- 
lierung von Technologien. Derzeit arbeitet er zu den gesellschaftlichen Folgen 
der Künstlichen Intelligenz, algorithmischen Diskriminierungen und syste- 
mischen Risiken. 

E-Mail: orwat@kit.edu 


Christina Lauppert von Peharnik (Ass. iur.) ist als Vertragsjuristin am Koordi- 
nierungszentrum für klinische Studien der Philipps-Universität Marburg tä- 
tig. In ihrer vorherigen Position als Wissenschaftliche Mitarbeiterin im BMBF- 
geförderten Kooperationsprojekt CwiC (Coping with Certainty) von 2019 bis 
2022 untersuchte sie die Auswirkungen epistemischer Verschiebungen durch 
den Einsatz von Künstlicher Intelligenz im Gesundheitssystem aus juristischer 
Perspektive. 

E-Mail: christinaleib@gmx.de 


Michael Reder (Prof. Dr. phil.) ist Professor für Praktische Philosophie und 
Vizepräsident für Forschung an der Hochschule für Philosophie München. Er 
ist Konsortialführer des vom bidt finanzierten Forschungsverbundes KAIMo 
(Kann ein Algorithmus im Konflikt moralisch kalkulieren?) und Mitglied des 
Direktoriums des gemeinsamen Zentrums für verantwortliche KI (CReAl- 
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Tech) der Technischen Universitat Miinchen, der Universitat Augsburg und 
der Hochschule für Philosophie München. 
E-Mail: michael.reder@hfph.de 


Rudolf Seising (PD Dr.) hat Mathematik, Physik und Philosophie an der Ruhr- 
Universität Bochum studiert und an der Ludwig-Maximilians-Universität 
(LMU) in München in Wissenschaftstheorie promoviert und in Geschichte 
der Naturwissenschaften habilitiert. Seit vielen Jahren forscht und lehrt er 
zur Geschichte der Informatik, der Statistik und der Künstlichen Intelligenz. 
Nach einigen Auslandsaufenthalten (Österreich, Spanien) und Professurver- 
tretungen an der LMU und an der Friedrich-Schiller-Universität (FSU) in Jena 
leitete er im Forschungsinstitut des Deutschen Museums von 2019 bis 2023 
das wissenschaftshistorische BMBF-Forschungsprojekt ,IGGI - Ingenieur- 
Geist und Geistes-Ingenieure: Eine Geschichte der Künstlichen Intelligenz in 
der Bundesrepublik Deutschland“. 

E-Mail: r.seising@deutsches-museum.de 


Kerstin Schlögl-Flierl (Prof. Dr. theol.), hat den Lehrstuhl für Moraltheologie 
an der Universität Augsburg inne. Sie ist seit 2020 Mitglied im Deutschen 
Ethikrat. Im Bereich der KI-Forschung ist sie eine der Verantwortlichen des 
Center for Responsible AI Technologies (CReAlTech) zwischen Universität 
Augsburg, Hochschule für Philosophie Münschen und Technische Universität 
München. Seit 2023 ist sie ein korrespondierendes Mitglied an der Päpstlichen 
Akademie für das Leben. 

E-Mail: kerstin.schloegl-flierl@uni-a.de 


Daniel Schlör (Dr. rer. nat.) ist wissenschaftlicher Mitarbeiter am Lehrstuhl 
für Data Science an der Julius-Maximilians-Universität Würzburg. Seine 
Lehr- und Forschungsschwerpunkte liegen im Bereich Maschinelles Lernen 
für Cyber-Security und Anomalie Erkennung. Weitere Forschungsinteressen 
umfassen auch den Einsatz von Empfehlungssystemen und Natural Language 
Processing im Bereich medizinischer Informatik. 

E-Mail: daniel.schloer@informatik.uni-wuerzburg.de 


Jan Fiete Schütte (B.Sc.) ist Berater bei der dimension2 economics & philoso- 
phy consult GmbH und verbessert mit Unternehmen datenbasierte Produkte 
durch die praxisnahe Operationalisierung von Datenethik. Der studierte So- 
zioinformatiker wirkt außerdem aktiv an der Erstellung und Weiterentwick- 


261 


262 


Künstliche Intelligenz und ethische Verantwortung 


lung von Werkzeugen und Normung mit, wie den CDR Building Bloxx und der 
DIN NRM II KI. Mit seinem technischen Hintergrund schlägt er die Brücke 
zwischen Theorie und Praxis, dabei beschäftigt ihn insbesondere die Analyse 
algorithmischer und selbstlernender Systeme in ihrer Auswirkung auf Mensch 
und Gesellschaft. 

E-Mail: jan-fiete.schuette@dimension2.de 


Max Tretter (Mag. theol.) ist Doktorand und wissenschaftlicher Mitarbeiter 
am Lehrstuhl für Systematische Theologie (Ethik) der Friedrich-Alexander- 
Universität Erlangen-Nürnberg. Seine Forschungsschwerpunkte umfassen 
Ethik und Theologie Künstlicher Intelligenz und Robotik, Bioethik des Men- 
schen sowie Hip Hop Studies. Weitere Informationen finden Sie online unter: h 
ttps://www.ethik.phil.fau.de/tretter/ 

E-Mail: max.tretter@fau.de 


Ulrich Freiherr von Ulmenstein (Dipl. iur.) ist zurzeit Rechtsreferendar im 
Freistaat Sachsen und am Sozialgericht in Leipzig in der 20. Kammer einge- 
setzt, welche insbesondere Verfahren der Kranken- und Pflegeversicherung 
bearbeitet. Schwerpunkt seiner bisherigen Forschung war neben datenschutz- 
rechtlichen Grundlagen das Recht der gesetzlichen Krankenversicherung mit 
seinen verfassungsrechtlichen Grundlagen und einfachgesetzlichen Ausfor- 
mungen. 

E-Mail: u_ulmenstein@outlook.de 


Susanna Wolf (M.A.), ist Digitalethikerin und als Data Steward im Data Of- 
fice bei DATEV eG tätig. Dort berät sie zu wertorientierter Technologiegestal- 
tung und stärkt gemeinsam mit ihren Kolleginnen Good Data Governance: 
Neben Effizienz und Wertschöpfung ist die Wertperspektive im Sinne Digi- 
taler Verantwortung (Corporate Digital Responsibility, kurz: CDR) hier ebenso 
im Fokus wie partnerschaftliche Vernetzung mit Bezug auf vertrauenswürdi- 
ge Datenräume insbesondere im europäischen Kontext. Als Teilvon Good Data 
Governance steht auch Datenethik@DATEV für gewinnbringende Vernetzung 
und wertorientierte Innovation. Susanna Wolf hat das Thema von der partizi- 
pativen Entwicklung hin zur internen Verankerung fachlich geführt. Für Da- 
tenethik@DATEV hat die Genossenschaft 2021 den CDR-Award erhalten und 
unterstützt die CDR-Community als Good Practice. Neben ihrer Tätigkeit bei 
DATEV promoviert Susanna Wolf derzeit zur Bedeutung von CDR-Regulie- 
rungsbestrebungen und deren Umsetzbarkeit für die Zukunft von vertrauens- 
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würdiger KI. 
E-Mail: susanna.wolf@datev.de 


Paula Ziethmann (M.A.) ist wissenschaftliche Mitarbeiterin am Center for Re- 
sponsible AI Technologies (CReAITech) und Doktorandin der Technikphiloso- 
phie an der Universitat Augsburg. In Ihrer Dissertation untersucht sie den Ein- 
satz von Künstlicher Intelligenz in der Medizin. Dabei verbindet sie Theorien 
von Michel Foucault mit qualitativer Sozialforschung und technikphilosophi- 
schen Überlegungen. 

E-Mail: paula.ziethmann@zig.uni-augsburg.de 
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